iPhone 13 Lidar-Videos aus "Cyberpunk Shibuya" faszinieren auch William Gibson
Der Foto- und Videokünstler Keijiro Takahashi demonstriert sein "AR-fähiges" Videoformat samt dazugehöriger App mit einer beeindruckenden Cyberpunk-Szene aus dem Tokioter Stadtteil Shibuya. William Gibson findet das gut.
Mit den Fortschritten bei Computer Vision und kompakter Lidar-Sensorik wächst das 3D-Verständnis von mobilen Endgeräten wie Smartphones. Die Endvision der Technologie ist, dass man eines Tages ganze 3D-Szenen so einfach und qualitativ hochwertig filmen oder scannen kann, wie es heute mit 2D-Fotos und -Videos möglich ist.
Wir erinnern uns: Die ersten Smartphone-Kameras wie das Nokia 7650 boten gerade mal bis zu 0,3 Megapixel. Videoaufnahmen waren undenkbar. Heute machen die besten Smartphone-Kameras mit KI-Fotografie professionellen Kameras Konkurrenz - bei Fotos und Videos.
___STEADY_PAYWALL___AR-fähige Videoclips mit Barcode-Metadaten
In diesen Kontext sind die ersten Gehversuche mit 3D-Scan und -Videotechnologie im Smartphone einzuordnen. Die Aufnahmen sind noch niedrig aufgelöst, fehlerhaft - aber sie zeigen dennoch das Potenzial der neuen Visualisierungstechnik, etwa die record3d-App für iPhone-Lidar.
Der japanische Entwickler und Videokünstler Keijiro Takahashi testet das Kreativpotenzial von Lidar-Videos mit 3D-Effekten jetzt mit seiner selbst entwickelten Video-App "Bibcam": Sie führt iPhone-Trackingdaten, Lidar-Daten und das Videobild in einem einzigen Videostrom zusammen. Insgesamt 16 Faktoren dokumentiert Takahashi im Barcode seitlich, der bei der Wiedergabe synchron und ohne Verzögerung dekodiert werden kann.
Laut Takahashi ermöglicht das von ihm entwickelte Format die Aufzeichnung, Bearbeitung und Wiedergabe von AR-fähigen Videoclips ohne Probleme bei der Synchronisation mit Tracking-Daten.
Proof-of-concept of the "burnt-in barcode metadata" format. The camera position, rotation and other parameters (16 floats in total) are encoded as barcode-like patterns. It can be decoded on playback without any desync/lag. https://t.co/AzV6Y0ifgG pic.twitter.com/FHfml3PHRD
— Keijiro Takahashi (@_kzr) November 11, 2021
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Ausflug ins Cyberpunk-Shibuya
Das Potenzial dieser AR-fähigen Clips zeigt Takahashi anhand selbstgedrehter Videos im Tokioter Elektrostadtteil Shibuya, die er mit Kamera und Lidar-Sensor im iPhone 13 Pro Max filmte, in Unity importierte und dort dann Spezialeffekte auf die 3D-Daten legte. Das Ergebnis erinnert an eine gefilmte Szene aus einem Cyberpunk - sorry, Metaverse - Szenario.
Video: Keijiro Takahashi
Der größte Nachteil der aktuellen Lidar-Technologie im iPhone 13 Pro Max ist laut Takahashi die Reichweitenbegrenzung auf circa fünf Meter, die im Video gut zu erkennen ist - dort endet der visuelle Effekt. Er denkt über eine KI-Erweiterung nach, die auf Basis der exakten Lidar-Messungen vorne die 3D-Daten jenseits der Fünf-Meter-Marke schätzt.
Video: Keijiro Takahashi
Für Entwickler:innen: Die Bibcam-App bekommt ihr unter Open Domain-Lizenz kostenlos bei Github, ebenso die Erweiterung für visuelle AR-Effekte Bibcam Vfx. Weitere Videobeispiele und Informationen zu Takahashis Projekten findet ihr auf seiner Webseite.
Apropos Cyberpunk: Bei Twitter teilte der Sci-Fi-Autor William Gibson das Shibuya-Video von Takahashi. Gibson prägte in seinem 1984 erschienenen Roman Neuromancer den Begriff Cyberpunk. Weitere interessante Sci-Fi-Bücher über VR, Cyberpunk und das Metaverse gibt es im verlinkten Artikel.
Weiterlesen über XR-Kunst:
- KI-Grafik: Künstler macht aus Comic-Figuren reale Personen
- Super Mario, Geralt & Lara Croft: Gaming-Helden in den Augen einer KI
- Nreal Light: Bundeskunsthalle bietet Werkbetrachtung mit AR-Brille
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
