iPhone 13 Lidar-Videos aus „Cyberpunk Shibuya“ faszinieren auch William Gibson

iPhone 13 Lidar-Videos aus „Cyberpunk Shibuya“ faszinieren auch William Gibson

Der Foto- und Videokünstler Keijiro Takahashi demonstriert sein „AR-fähiges“ Videoformat samt dazugehöriger App mit einer beeindruckenden Cyberpunk-Szene aus dem Tokioter Stadtteil Shibuya. William Gibson findet das gut.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Mit den Fortschritten bei Computer Vision und kompakter Lidar-Sensorik wächst das 3D-Verständnis von mobilen Endgeräten wie Smartphones. Die Endvision der Technologie ist, dass man eines Tages ganze 3D-Szenen so einfach und qualitativ hochwertig filmen oder scannen kann, wie es heute mit 2D-Fotos und -Videos möglich ist.

Wir erinnern uns: Die ersten Smartphone-Kameras wie das Nokia 7650 boten gerade mal bis zu 0,3 Megapixel. Videoaufnahmen waren undenkbar. Heute machen die besten Smartphone-Kameras mit KI-Fotografie professionellen Kameras Konkurrenz – bei Fotos und Videos.

AR-fähige Videoclips mit Barcode-Metadaten

In diesen Kontext sind die ersten Gehversuche mit 3D-Scan und -Videotechnologie im Smartphone einzuordnen. Die Aufnahmen sind noch niedrig aufgelöst, fehlerhaft – aber sie zeigen dennoch das Potenzial der neuen Visualisierungstechnik, etwa die record3d-App für iPhone-Lidar.

Der japanische Entwickler und Videokünstler Keijiro Takahashi testet das Kreativpotenzial von Lidar-Videos mit 3D-Effekten jetzt mit seiner selbst entwickelten Video-App „Bibcam“: Sie führt iPhone-Trackingdaten, Lidar-Daten und das Videobild in einem einzigen Videostrom zusammen. Insgesamt 16 Faktoren dokumentiert Takahashi im Barcode seitlich, der bei der Wiedergabe synchron und ohne Verzögerung dekodiert werden kann.

Laut Takahashi ermöglicht das von ihm entwickelte Format die Aufzeichnung, Bearbeitung und Wiedergabe von AR-fähigen Videoclips ohne Probleme bei der Synchronisation mit Tracking-Daten.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat

Ausflug ins Cyberpunk-Shibuya

Das Potenzial dieser AR-fähigen Clips zeigt Takahashi anhand selbstgedrehter Videos im Tokioter Elektrostadtteil Shibuya, die er mit Kamera und Lidar-Sensor im iPhone 13 Pro Max filmte, in Unity importierte und dort dann Spezialeffekte auf die 3D-Daten legte. Das Ergebnis erinnert an eine gefilmte Szene aus einem Cyberpunk – sorry, Metaverse – Szenario.

Video: Keijiro Takahashi

Der größte Nachteil der aktuellen Lidar-Technologie im iPhone 13 Pro Max ist laut Takahashi die Reichweitenbegrenzung auf circa fünf Meter, die im Video gut zu erkennen ist – dort endet der visuelle Effekt. Er denkt über eine KI-Erweiterung nach, die auf Basis der exakten Lidar-Messungen vorne die 3D-Daten jenseits der Fünf-Meter-Marke schätzt.

Video: Keijiro Takahashi

Für Entwickler:innen: Die Bibcam-App bekommt ihr unter Open Domain-Lizenz kostenlos bei Github, ebenso die Erweiterung für visuelle AR-Effekte Bibcam Vfx. Weitere Videobeispiele und Informationen zu Takahashis Projekten findet ihr auf seiner Webseite.

Apropos Cyberpunk: Bei Twitter teilte der Sci-Fi-Autor William Gibson das Shibuya-Video von Takahashi. Gibson prägte in seinem 1984 erschienenen Roman Neuromancer den Begriff Cyberpunk. Weitere interessante Sci-Fi-Bücher über VR, Cyberpunk und das Metaverse gibt es im verlinkten Artikel.

Weiterlesen über XR-Kunst: