Augmented Reality: Apple benutzt ARKit für Facetime-Augenkontakt

Apple präsentiert den bislang wohl eindrucksvollsten Augmented-Reality-Gesichtsfilter.

Apples Videochatsoftware FaceTime kommt in iOS 13 mit einer neuen Software, die den klangvollen Namen “Aufmerksamkeitskorrektur” trägt: Schaut der Nutzer während eines Videochats auf den Bildschirm statt in die Kamera, korrigiert die Software dessen Blick so, dass er scheinbar doch in die Kamera blickt – und so digitalen Augenkontakt hält.

Guys – “FaceTime Attention Correction” in iOS 13 beta 3 is wild.
Here are some comparison photos featuring @flyosity: https://t.co/HxHhVONsi1 pic.twitter.com/jKK41L5ucI
— Will Sigmon (@WSig) 2. Juli 2019

Der Effekt soll ein gängiges Problem bei Videokonferenzen lösen: nämlich dass die Konferenzteilnehmer sich gegenseitig auf dem Monitor betrachten und so aneinander vorbeischauen, anstatt über die Kamera Blicke auszutauschen.

Augenbewegungen in Richtungen außerhalb des Bildschirms werden normal übertragen. Die Aufmerksamkeitskorrektur kann auch komplett deaktiviert werden.

AR-Gesichtsfilter für Fortgeschrittene

Technisch betrachtet ist die Augenkorrektur ein Augmented-Reality-Trick, wie man ihn von Snaps und Facebooks Gesichtsfiltern kennt: Mit der 3D-Gesichtsvermessung “TrueDepth” der iPhone-Modelle XS, XS Max und XR wird eine Tiefenkarte des Gesichts erstellt.

In diese Tiefenkarte kann Apples AR-Software ARKit dann präzise die digitalen Augen über die realen legen.

Sunglasses also experience similar warping in the eye regions, which is exactly what you’d expect from a simple ARKit-based implementation. pic.twitter.com/rMmNoDCMSQ
— Dave Schukin 🤘 (@schukin) 3. Juli 2019

Womöglich liefert Apple hier Facebooks Forschungsabteilung ein interessantes Umsetzungsbeispiel: Der Konzern arbeitet an sehr realistischen VR-Avataren, die zwar sogar Augenbewegungen mit dem Originalmenschen synchronisieren, aber aufgrund von Kameraverzerrungen noch keinen direkten Blickkontakt bieten.