Niantics neues AR-Feature macht aus Smartphones 3D-Scanner

8.07.2021 Tomislav Bezmalinovic

Niantic-Forscher stellen eine Technologie vor, die aus herkömmlichen Smartphones fähige 3D-Kartografierungswerkzeuge macht.

Wer Niantic kennt, weiß: Pokémon Go ist mehr als bloß ein AR-Spiel. Für Niantic ist es der Versuch, eine 3D-Karte der Welt für eine neue Art des Internets zu erschaffen.

Man stelle sich vor, digitale Objekte könnten dauerhaft und präzise überall im physischen Raum platziert werden, dargestellt durch Smartphones oder AR-Brillen. Das Internet würde nicht mehr als in Bildschirmen gefangene digitale Parallelwelt existieren, sondern Teil der Lebensumgebung werden und damit eine neue Computerplattform mit fortschrittlichen AR-Anwendungen begründen.

Damit das möglich wird, braucht es eine AR-Cloud: eine stets aktualisierte, digitale 3D-Kopie der physischen Welt, vermöge welcher Smartphones und AR-Brillen sich im Raum orientieren und geografische mit digitalen Informationen verknüpfen können.

Niantics will eigene Spielerschaft mobilisieren

Die Frage ist: Wer soll eine solche 3D-Karte erstellen und pflegen und womit? Niantics Antwort: Ein Heer von Smartphone-Nutzern, die Pokémon Go und andere AR-Spiele spielen, die auf der AR-Plattform Niantic Lightship basieren.

Ende 2020 führte Niantic ein Feature ein, das Pokémon Go-Spielern erlaubt, ihre Spielumgebung in 3D einzuscannen und dafür spezielle Belohnungen einzusacken.

Um diesen Vorgang zu optimieren, arbeitet Niantic an Technologien, die aus Smartphones mit herkömmlichen RGB-Kameras effiziente 3D-Scanner machen und Raumdaten aus verschiedenen Quellen zu einem durchgängigen 3D-Modell verarbeiten. Das Ziel ist, dass AR-Spieler eines Tages praktisch im Vorbeigehen eine digitale 3D-Karte der Welt erstellen und damit wesentlich zur AR-Cloud beitragen.

Smartphone-Kameras erhalten Tiefengespür

Im Juni stellte Niantic auf der CVPR-Konferenz eine Technologie, die die Tiefenerkennung von Smartphones deutlich verbessert.

"Diese neue Technologie bringt bessere und immersivere AR-Erlebnisse auf mehr Geräte und ermöglicht es Niantic-Explorern, gemeinsam die genaueste und aktuellste 3D-Karte der Welt zu erstellen", heißt es auf dem Niantic-Blog.

RGB-Kameras nehmen die Welt als Fläche wahr und nur wenige Smartphones haben spezielle 3D-Kameras wie Apples Lidar-Scanner verbaut. Mithilfe maschinellen Lernens brachten Niantic-Forschern Smartphones bei, 3D-Informationen aus 2D-Bildern zu extrapolieren. Wird die Kamera durch den Raum bewegt, wird der 3D-Abdruck noch genauer. Deshalb nennt Niantic die Technologie auch ManyDepth (Deutsch: "Viele Tiefen").

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Das zugrundeliegende Verfahren ist schon älter und kommt etwa in Facebooks 3D-Fotos zum Einsatz. Niantic hat die Technologie zusätzlich für den Echtzeit-Einsatz in Smartphones optimiert, also kontinuierliche räumliche Kamerabewegung. Das folgende Video zeigt beispielhaft, wie eine zusammenhängende 3D-Karte basierend auf Manydepth-Aufnahmen aussehen könnte.

Realistischere AR dank Manydepth

Zur Entwicklung von Manydepth wesentlich beigetragen haben die Forscher von Matrix Mill und 6D.ai, zwei auf AR-Cloudtechnologien spezialisierte Start-ups, die Niantic 2018 und 2020 übernahm.

Manydepth wird in Lightship integriert und so zum Standardfeature der weltweit führenden AR-Spieleplattform. In Zukunft sollen Spieler so einfach zu einer weltumspannenden 3D-Karte beitragen können, wie sie Fotos teilen, schreibt Niantic. Nutzer sollen sich entscheiden können, ob sie das Feature nutzen.

Der Vorteil für Spieler wird ein realistischeres AR-Erlebnis. Da das Smartphone eine 3D-Vorstellung der Umgebung gewinnt, kann sie Pokémon sinnvoller und visuell überzeugender in die physische Umgebung einbetten, sodass sie hinter echten Gegenständen verschwinden oder mit diesen kollidieren.

Die Manydepth-Forschungsarbeit ist frei im Internet erhältlich. Das Gleiche gilt für den Manydepth-Code auf Github.

Das folgende Video zeigt den Unterschied zwischen der Tiefenerkennung einer Smartphone-Kamera einmal ohne und einmal mit Manydepth-Technologie.

Quelle: Niantic Blog, Titelbild: Niantic

Weiterlesen über Niantic:

• Pokémon Go druckt weiter Geld und das ist wichtig für AR
• Transformers AR: Pokémon Go-Studio bringt neues AR-Spiel
• Nintendo und Pokémon Go-Studio entwickeln neue AR-Spiele

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.