Reales Lächeln für virtuelle Avatare

Hao Li ist Forscher an der Universität "Southern California". Gemeinsam mit Kollegen hat er einen Weg gefunden, Gesichtsausdrücke von Oculus-Rift-Nutzern zu erkennen und live auf einen virtuellen Avatar zu übertragen.

Dafür wurde die VR-Brille mit einer zusätzlichen Kamera modifiziert, die auf den Nutzer gerichtet ist. Diese spezielle Nahfeldkamera erkennt die Bewegungen der Mundpartie, während zusätzliche Sensoren im Kopfteil von Oculus Rift Muskelbewegungen messen. Diese speziellen Sensoren können den Kraftaufwand einer Bewegung erkennen. Notwendig werden sie, da durch die VR-Brille der obere Kopfteil des Nutzers komplett verdeckt ist. Eine rein optische Lösung, die die Gesichtszüge über die Bilder einer Kamera interpretieren kann, würde daher nicht zuverlässig funktionieren.

Ganz links sieht man die zusätzliche Kamera für die Mundpartie, im Bild daneben die Sensoren, die Muskelbewegungen erkennen.

Mit dieser Kombination aus optischen Daten und der Bewegungsmessung der Sensoren kann die Gesichtsmimik, schaut man sich die aktuellen Demos an, relativ exakt erkannt werden. Allerdings braucht die Software dafür vorab noch eine kurze Trainingsphase, in der das Gesicht des Probanden ausgemessen wird. Diese Kalibrierung könnte in Zukunft wegfallen, wenn der Software genug Daten von vielen unterschiedlichen Gesichtszügen und Mimiken zur Verfügung stehen.