Virtual Reality: Faceteq überträgt reale Mimik in Echtzeit auf Avatare

Im September berichteten wir erstmals über das englische Start-Up Emteq, das an einer neuen Art von Gesichtstracking arbeitet. Nun ist ein erster Hands-on-Bericht der Technologie aufgetaucht.

Statt auf Kameras setzt das Unternehmen auf Elektroden, die an dem Gesichtspolster der VR-Brille befestigt werden. Diese messen die elektrischen Signale, die von der Gesichtsmuskulatur ausgesandt werden und erkennen mittels dieser Daten den Gesichtsausdruck des Nutzers.

Das Unternehmen soll zwar erst seit einem Jahr an der Technologie arbeiten, sie habe aber schon jetzt ein großes Potenzial, schreibt Jamie Feltham von Upload VR, der bei dem englischen Unternehmen zu Besuch war.

___STEADY_PAYWALL___

Mohsen Fatoorechi, der leitende Ingenieur des Unternehmens, führt in einem ersten Schritt den Kalibrierungsprozess von "Faceteq" vor. Dabei geht Fatoorechi vordefinierte Muster von Mienenspielen durch, die in einem Computerprogramm gespeichert sind und ahmt diese nach. Zum Beispiel blinzelt er drei Mal mit dem rechten Auge. Der Computer merkt sich die dabei auftretenden elektrischen Muskelimpulse und verknüpft sie mit dem im Computer gespeicherten Muster.

Fatoorechi demonstriert anschließend, wie seine Mimik von Faceteq in Echtzeit analysiert und auf das Gesicht eines weiblichen Avatars übertragen wird. Das soll dem Journalisten zufolge schon sehr gut funktionieren.

Auch bei Felthams eigenem Test arbeitete das System solide. Der virtuelle Avatar ahmte überzeugend jene Mimik nach, die von ihm vorgegeben wurde, darunter Blinzeln, die Stellung der Augenbrauen und ein Stirnrunzeln. Allerdings konnten zuvor nicht alle Gesichtsausdrücke korrekt kalibriert werden. Ganz verlässlich arbeitet Faceteq also noch nicht.

Mit Faceteq könnten die Emotionen von Kinobesuchern ausgelesen werden

Emteq möchte die Technologie so weit entwickeln, dass das Gerät Muskelimpulse spontan und ohne vorherigen Kalibrierungsprozess erkennt. Das System baue auf Daten auf, sagt der wissenschaftliche Leiter Charles Nduka. "Je mehr Daten es erhält, desto intelligenter wird es."

Danach wurden dem Journalisten zwei neuartige Anwendungsszenarien für die Technologie vorgestellt. So könnte die Technologie genutzt werden, um bei Probevorführungen eines Films die Gesichtsausdrücke von Kinobesuchern auszulesen. Die Produzenten könnten so Rückschlüsse über die Emotionen der Zuschauer ziehen.

Ein anderes Beispiel beinhaltete die Facebook-Pinnwand des Unternehmens. Mit der Faceteq-Technologie können hier Beiträgen mittels realer Gesichtsausdrücke Emojis zugewiesen werden.

https://www.youtube.com/watch?v=ypwNfpKBEeM

Soziale VR-Anwendungen brauchen reale Mimik

Gesichtstracking ist vor allem für Social-VR von Bedeutung. Weil die Mimik für die menschliche Kommunikation so wichtig ist, müssen Avatare die Emotionen ihrer Nutzer widerspiegeln können. Vieltelefonierer wissen, wie anstrengend es ist, wenn man einer Stimme keine Mimik zuordnen kann, die den Aussagen einen zusätzlichen inhaltlichen Kontext verleiht.

Auch für Computerspiele gibt es zahlreiche Anwendungsfälle. Der CEO des Unternehmens, Graeme Cox, gibt folgendes Beispiel: "Stell dir vor, du spielst ein immersives Rollenspiel, in dem du dich emotional auf einen Spielcharakter einlassen musst. Mit unserer Technologie ist das möglich. Sie lässt den Computer wissen, ob du einen schlechten Tag hast oder müde bist."

Der gezeigte Prototyp funktioniert mit der Oculus-Rift-Entwicklerversion DK2. Das Unternehmen arbeitet an einer verbesserten Variante für die Verbraucherversion CV1. Das Standardgesichtspolster der CV1 wird man dann durch eine Faceteq-Version ersetzen können, die alle nötigen Sensoren verbaut hat. Versionen für HTC Vive und Daydream View sind ebenfalls in Planung.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.