iPhone 12 Pro: So sieht ein Lidar Holo-Video aus
Der Lidar-Scanner des iPhone 12 Pro und Pro Max ermöglicht neue Smartphone-Tricks. Nutzer können blitzschnell Objekte in 3D scannen und Augmented Reality auf einer neuen Qualitätsstufe erleben. Erste Experimente zeigen, wohin die Reise gehen könnte.
3D-Sensoren in Smartphones sind keine Neuheit, Apples Lidar-Technik geht jedoch einen Schritt weiter: Statt eines einzelnen Lichtimpulses sendet Apples Sensor eine Vielzahl Lichtstrahlen aus, um ganze Flächen zu scannen.
Eine höhere Strahlenreichweite sorgt zudem dafür, dass Objekte in bis zu fünf Metern Entfernung räumlich erfasst werden. In Zukunft könnte diese Distanz wohl noch gesteigert werden.
___STEADY_PAYWALL___Die Lichtstrahlen des Lidar-Scanners sieht man nur unter einer Infrarotkamera, nachfolgend am Beispiel eines iPad Pro. Das Tablet ist das erste Apple-Gerät, in dem ein Lidar-Scanner verbaut wurde.
Here is iPad Pro’s LiDAR under infrared. pic.twitter.com/IZkum3nwRx
— Faruk 🚀 ᴵᴾᴴᴼᴺᴱᴰᴼ (@iPhonedo) March 26, 2020
Auf der Suche nach Anwendungen
Google hoffte vor ein paar Jahren, dass 3D-Sensoren ein wichtiger Bestandteil von Android-Smartphones werden würden und entwickelte mit Project Tango entsprechende Hard- und Software.
Wegen der höheren Herstellungskosten und dem unklaren Nutzen der 3D-Scanner verzichteten Smartphone-Hersteller auf die Integration von 3D-Sensoren und damit auch Tango, woraufhin Google das Projekt Ende 2017 einstellte und mit ARCore auf Augmented Reality ohne 3D-Sensor umschwenkte.
So sieht der Lidar-Scanner im iPhone Pro Max aus. | Bild: Apple
Auch Apples Lidar-Scanner sucht noch nach einer triftigen Existenzberechtigung abseits verbesserter AR-Effekte und Kameratechnik. Gerüchten zufolge wird der hochentwickelte 3D-Sensor eines Tages in Apples kommende AR-Brille wandern und dort einen Mehrwert schaffen, der Smartphone-AR abgeht.
Räumliche Videos
So oder so kann Apples Lidar-Scanner jetzt schon mehr leisten als Project Tango, wie Beispiele aus dem Internet zeigen. Auf Twitter zeigen Entwickler und Industrievertreter, was mit dem Lidar-Scanner möglich ist.
Der CEO der 3D-Plattform Sketchfab Alban Denoyel fing mit seinem iPhone 12 Pro und der 3D-Scanning-App Record3D eine Punktewolke seines Sohnes ein, die die Szene holografisch einfängt. Denoyel sieht in der neuen Smartphone-Technik eine neue Art, Erinnerungen abzuspeichern.
This is obviously a very basic output for now, but being able to record a moment in all its dimensions with just a phone, and then have the ability to revisit it with free viewpoint and in a full spatial way is mind blowing... It will only get better from there.
— alban denoyel (@albn) October 28, 2020
3D-Scanning mit dem Smartphone
Denoyel scannte auch einen Tisch voller Speisen. Der 3D-Scan dauerte lediglich fünf Sekunden, während 20 Sekunden zur Datenverarbeitung benötigt wurden. So schnell und detailreich konnte man noch nie eine komplexe Szene in 3D mit einem Smartphone einfangen.
Recording memories will never be the same.
Captured in 5 seconds with #iPhone12Pro lidar
Processed in 20 seconds with https://t.co/md5CBwvTYnDirect export to @Sketchfab: https://t.co/sZNMJHoJGi
Happy birthday Olivia! pic.twitter.com/SG9JqZBaQe
— alban denoyel (@albn) October 31, 2020
Ein weiteres Beispiel zeigt den Scan einer Toilette in Brooklyn samt Graffiti, aufgenommen mit der 3D-Scanning-App Polycam (siehe Twitter-Video).
Denoyel vergleicht die Qualität des Lidar-Scans mit dem von Tango. Der Qualitätsunterschied ist groß, da Tango das Objekt nicht vollständig und weniger scharf und detailliert scannen konnte. Die Technik hat folglich große Fortschritte gemacht.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
- Kündigung jederzeit online möglich
Here is a tango version from a year ago btw https://t.co/n5f64CWnPX https://t.co/VcEc8sbUA9 pic.twitter.com/rdyYWvYNPb
— alban denoyel (@albn) November 5, 2020
Realistischere Augmented Reality
Dank des Lidar-Scanners können die Pro-Modelle des iPhone 12 ihre Umgebung räumlich wahrnehmen und ermöglichen so präzisere AR-Effekte. Die Smartphones registrieren beispielsweise die Hand Denoyels und nutzen diese Informationen für einen realistische Verdeckungseffekt: Die reale Hand verdeckt das digitale Objekt.
Occlusion is now rock solid on iOS 👌 also a beautiful scan, check it out on @Sketchfab https://t.co/ijUNMmxdnd pic.twitter.com/PgzHfZWjOh
— alban denoyel (@albn) November 6, 2020
Ebenfalls möglich werden physikalische Interaktionen digitaler AR-Objekte mit der realen Umgebungen, wie folgende zwei Twitter-Videos demonstrieren.
New video trailer for Epic Marble. Download it here for iPhone 12 Pro: https://t.co/EZMv4xjlUo#LiDAR #AugmentedReality #iPhone #madewithunity #XR #AR #iPhone12Pro #AppleEvent pic.twitter.com/33slumOWA5
— Patrick O’Shaughnessey (@patchedreality) October 29, 2020
Hand physics in AR using #LiDAR on #iPhone12Pro!
- https://t.co/jYndD4JRfB pic.twitter.com/mGyQcV1YgV— Josh Caspersz (@JoshCaspersz) November 6, 2020
Lidar-Scanner hilft Sehbehinderten
Im kürzlich ausgerollten iOS-Update 14.2 steckt eine Funktion, die sich den Lidar-Scanner zunutze macht, um Sehbehinderten bei Social Distancing zu unterstützen.
Die Funktion ist Teil des Lupen-Features und teilt Smartphone-Nutzern mit, ob sich Personen im Sichtfeld der Weitwinkelkamera befinden.
Mit Hilfe des Lidar-Scanners wird anschließend kontinuierlich deren Entfernung erfasst und diese Information mitgeteilt. Nutzer können die Audio-Benachrichtigungen an die eigenen Bedürfnisse anpassen und optional haptisches Feedback aktivieren. In letzterem Fall vibriert das Smartphone schneller, wenn die Person näher kommt.
Here’s how people detection works in iOS 14.2 beta - the voiceover support is a tiny bit buggy but still super cool https://t.co/vCyX2wYfx3 pic.twitter.com/e8V4zMeC5C
— Matthew Panzarino (@panzer) October 31, 2020
Quellen: Twitter, Techcrunch, Titelbild: Alban Denoyel
Weiterlesen über Apple AR:
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
