Apples AR-Technik wird immer realistischer

Apples AR-Technik wird immer realistischer

Die verbesserte Verdeckungstechnik in iOS 14 integriert digitale Objekte per Augmented Reality noch realistischer in die Umgebung.

Das neue iPad Pro bietet erstmals einen Lidar-Scanner, der den Raum präziser in der Tiefe vermessen kann als herkömmliche Kameras. Der neue Sensor soll auch im kommenden iPhone Pro stecken.

In Kombination mit dem Weit- und Ultraweitwinkelsensor im Kamerasystem ermöglicht das visuell deutlich realistischere Augmented Reality durch den sogenannten Verdeckungseffekt: Digitale Objekte erscheinen vor oder hinter realen Objekten und verdecken sie beziehungsweise umgekehrt.

___STEADY_PAYWALL___

Das folgende Video veranschaulicht den Effekt: Mit früherer AR-Technik hätte die Hand einfach durch das digitale Objekt hindurchgeschimmert.

iOS 14 und Lidar verbessern Verdeckungseffekte enorm

Die Rendertechnik ist komplex, da das reale Objekt in Bewegung erkannt und genau an der Stelle ausgeblendet werden muss, an der es das digitale Objekt überlagert. Im gleichen Moment ist sie enorm wichtig für visuell glaubhafte Augmented Reality, denn ohne sie bricht schnell die Illusion, dass die digitale Darstellung Teil der Realität ist.

Bei Twitter zeigen Entwickler jetzt, wie groß die Fortschritte sind, die Apple mit der besseren Software ARKit 4 und dem Lidar-Scanner für iOS 14 Beta 6 erzielen konnten: Der Verdeckungseffekt funktioniert präzise an den Kanten der Objekte und ist weitgehend frei von Bildfehlern wie ungewollten Überlagerungen, unsauber ausgeschnittenen Ecken oder Zittern. Das gilt sogar bei animierten Objekten.

Verdeckung ist mehr als eine visuelle Spielerei, sie ermöglicht auch neue App-Anwendungen. Beispielsweise könnten digitale Objekte hinter realen verschwinden, sich dort verändern und neu auftauchen, wie die folgende Demo andeutet.

3D-Objekte im Content-Mix

Da Entwickler mit iOS 14 Zugriff auf die rohen Scan-Daten des Kamerasystems haben, dürften außerdem 3D-Scanning-Apps für die neue iPad- und iPhone-Generation deutlich besser werden.

Das könnte eine neue Form des Content-Sharings bringen: Anstatt ein schönes Stück im Museum nur zu fotografieren und zu teilen, könnte man es flott einscannen und als AR-Objekt in Originalgröße an den daheimgebliebenen Partner senden, dem nicht nach Kultur zumute war. Allerdings fehlen hier noch die Textur-Details eines Fotos.

Gerüchteweise hat Apples AR-Brillenprototyp ebenfalls einen LiDAR-Scanner verbaut. Die Technik passt in Apples Privatsphäre-Konzept, da sie im Unterschied zu kamerabasierter Scan-Technik die Umgebung nur abtastet statt filmt. Gerade in einer Brille, die permanent die Umgebung im Blick hat, wäre das ein wichtiger Erfolgsfaktor.

Google integrierte vor einigen Wochen ebenfalls bessere Verdeckungseffekte in die eigene AR-Schnittstelle ARCore. Allerdings hat aktuelle Android-Hardware keinen Lidar-Scanner und der Verdeckungseffekt ist daher insgesamt deutlich weniger präzise als in den neuesten Apple-Demos.

Weiterlesen über Apple XR: