Mit Eye-Tracking und Künstlicher Intelligenz will Google Mimik erkennnen und auf Avatare in VR und AR übertragen.

Google hat ein besonders cleveres Patent angemeldet, mit dem das Gesicht eines virtuellen Avatars in Echtzeit entlang der Mimik eines VR- oder AR-Brillenträgers animiert werden kann. Für soziale Interaktion speziell in VR wäre das ein Sprung nach vorne.

Im Vergleich zu anderen Verfahren, die nur mit zusätzlichen Kameras oder Elektroden funktionieren, ist die Google-Methode dank maschinellem Lernen viel eleganter: An Zusatzhardware braucht es nur ein in die Brille integriertes Eye-Tracking-System. Das dürfte in ein paar Jahren ohnehin ein Standardbauteil von VR- und AR-Brillen sein. Den Rest übernimmt die KI-Software.

KI errät Mimik

Kern des Patents ist ein auf Bildverarbeitung spezialisiertes neuronales Netz (CNN). Es wird vorab mit Bildern trainiert, auf denen der Nutzer seine emotionale Bandbreite zum Besten gibt: ein Lachen, der Hundbeblick, überraschtes Staunen, ein lockeres Zwinkern, wütendes Starren – und so weiter. Rund 46 Gesichtsparameter soll das KI-System bei der Gesichtsanalyse beachten.

Setzt sich der Nutzer anschließend eine V…

MIXED.de Podcast: VR, AR und KI - jede Woche neu

Jetzt reinhören: Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.