VR & AR: Google will mit Eye-Tracking und KI Mimik erkennen

VR & AR: Google will mit Eye-Tracking und KI Mimik erkennen

Mit Eye-Tracking und Künstlicher Intelligenz will Google Mimik erkennnen und auf Avatare in VR und AR übertragen.

Anzeige
Anzeige

Google hat ein besonders cleveres Patent angemeldet, mit dem das Gesicht eines virtuellen Avatars in Echtzeit entlang der Mimik eines VR- oder AR-Brillenträgers animiert werden kann. Für soziale Interaktion speziell in VR wäre das ein Sprung nach vorne.

Im Vergleich zu anderen Verfahren, die nur mit zusätzlichen Kameras oder Elektroden funktionieren, ist die Google-Methode dank maschinellem Lernen viel eleganter: An Zusatzhardware braucht es nur ein in die Brille integriertes Eye-Tracking-System. Das dürfte in ein paar Jahren ohnehin ein Standardbauteil von VR- und AR-Brillen sein. Den Rest übernimmt die KI-Software.

___STEADY_PAYWALL___

KI errät Mimik

Kern des Patents ist ein auf Bildverarbeitung spezialisiertes neuronales Netz (CNN). Es wird vorab mit Bildern trainiert, auf denen der Nutzer seine emotionale Bandbreite zum Besten gibt: ein Lachen, der Hundbeblick, überraschtes Staunen, ein lockeres Zwinkern, wütendes Starren - und so weiter. Rund 46 Gesichtsparameter soll das KI-System bei der Gesichtsanalyse beachten.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

Setzt sich der Nutzer anschließend eine VR-Brille mit Eye-Tracking-Kameras auf, soll das neuronale Netz allein anhand der Muskelbewegungen rund um die Augenpartie und der Augenbewegungen selbst die passende Mimik rekonstruieren können. Die wiederum wird dann in Echtzeit auf den Avatar übertragen.

Ein Patent mündet zwar nicht zwangsläufig in einem Produkt. Aber sollte das Verfahren wie beschrieben funktionieren, ist es viel zu clever, zu einfach und speziell für VR zu wichtig, um es im Aktenschrank verstauben zu lassen.

Anhand der Augenpartie soll die KI Emotionen lernen, abrufen und auf einen Avatar übertragen können. Bild: Google

Anhand der Augenpartie soll die KI Emotionen lernen, abrufen und auf einen Avatar übertragen können. Bild: Google