3D

iPhone 12 Pro: So sieht ein Lidar Holo-Video aus

iPhone 12 Pro: So sieht ein Lidar Holo-Video aus

Der Lidar-Scanner des iPhone 12 Pro und Pro Max ermöglicht neue Smartphone-Tricks. Nutzer können blitzschnell Objekte in 3D scannen und Augmented Reality auf einer neuen Qualitätsstufe erleben. Erste Experimente zeigen, wohin die Reise gehen könnte.

3D-Sensoren in Smartphones sind keine Neuheit, Apples Lidar-Technik geht jedoch einen Schritt weiter: Statt eines einzelnen Lichtimpulses sendet Apples Sensor eine Vielzahl Lichtstrahlen aus, um ganze Flächen zu scannen.

Eine höhere Strahlenreichweite sorgt zudem dafür, dass Objekte in bis zu fünf Metern Entfernung räumlich erfasst werden. In Zukunft könnte diese Distanz wohl noch gesteigert werden.

Die Lichtstrahlen des Lidar-Scanners sieht man nur unter einer Infrarotkamera, nachfolgend am Beispiel eines iPad Pro. Das Tablet ist das erste Apple-Gerät, in dem ein Lidar-Scanner verbaut wurde.

Auf der Suche nach Anwendungen

Google hoffte vor ein paar Jahren, dass 3D-Sensoren ein wichtiger Bestandteil von Android-Smartphones werden würden und entwickelte mit Project Tango entsprechende Hard- und Software.

Wegen der höheren Herstellungskosten und dem unklaren Nutzen der 3D-Scanner verzichteten Smartphone-Hersteller auf die Integration von 3D-Sensoren und damit auch Tango, woraufhin Google das Projekt Ende 2017 einstellte und mit ARCore auf Augmented Reality ohne 3D-Sensor umschwenkte.

iPhone_12_Pro_LIDAR_Sensor

So sieht der Lidar-Scanner im iPhone Pro Max aus. | Bild: Apple

Auch Apples Lidar-Scanner sucht noch nach einer triftigen Existenzberechtigung abseits verbesserter AR-Effekte und Kameratechnik. Gerüchten zufolge wird der hochentwickelte 3D-Sensor eines Tages in Apples kommende AR-Brille wandern und dort einen Mehrwert schaffen, der Smartphone-AR abgeht.

Räumliche Videos

So oder so kann Apples Lidar-Scanner jetzt schon mehr leisten als Project Tango, wie Beispiele aus dem Internet zeigen. Auf Twitter zeigen Entwickler und Industrievertreter, was mit dem Lidar-Scanner möglich ist.

Der CEO der 3D-Plattform Sketchfab Alban Denoyel fing mit seinem iPhone 12 Pro und der 3D-Scanning-App Record3D eine Punktewolke seines Sohnes ein, die die Szene holografisch einfängt. Denoyel sieht in der neuen Smartphone-Technik eine neue Art, Erinnerungen abzuspeichern.

3D-Scanning mit dem Smartphone

Denoyel scannte auch einen Tisch voller Speisen. Der 3D-Scan dauerte lediglich fünf Sekunden, während 20 Sekunden zur Datenverarbeitung benötigt wurden. So schnell und detailreich konnte man noch nie eine komplexe Szene in 3D mit einem Smartphone einfangen.

Ein weiteres Beispiel zeigt den Scan einer Toilette in Brooklyn samt Graffiti, aufgenommen mit der 3D-Scanning-App Polycam (siehe Twitter-Video).

Denoyel vergleicht die Qualität des Lidar-Scans mit dem von Tango. Der Qualitätsunterschied ist groß, da Tango das Objekt nicht vollständig und weniger scharf und detailliert scannen konnte. Die Technik hat folglich große Fortschritte gemacht.

Realistischere Augmented Reality

Dank des Lidar-Scanners können die Pro-Modelle des iPhone 12 ihre Umgebung räumlich wahrnehmen und ermöglichen so präzisere AR-Effekte. Die Smartphones registrieren beispielsweise die Hand Denoyels und nutzen diese Informationen für einen realistische Verdeckungseffekt: Die reale Hand verdeckt das digitale Objekt.

Ebenfalls möglich werden physikalische Interaktionen digitaler AR-Objekte mit der realen Umgebungen, wie folgende zwei Twitter-Videos demonstrieren.

Lidar-Scanner hilft Sehbehinderten

Im kürzlich ausgerollten iOS-Update 14.2 steckt eine Funktion, die sich den Lidar-Scanner zunutze macht, um Sehbehinderten bei Social Distancing zu unterstützen.

Die Funktion ist Teil des Lupen-Features und teilt Smartphone-Nutzern mit, ob sich Personen im Sichtfeld der Weitwinkelkamera befinden.

Mit Hilfe des Lidar-Scanners wird anschließend kontinuierlich deren Entfernung erfasst und diese Information mitgeteilt. Nutzer können die Audio-Benachrichtigungen an die eigenen Bedürfnisse anpassen und optional haptisches Feedback aktivieren. In letzterem Fall vibriert das Smartphone schneller, wenn die Person näher kommt.

Quellen: Twitter, Techcrunch, Titelbild: Alban Denoyel

Weiterlesen über Apple AR: