Mimik in VR: Tracking-Maske erfasst Gesichtsbewegungen

Mimik in VR: Tracking-Maske erfasst Gesichtsbewegungen

Ein Start-up geht beim Gesichtstracking neue Wege: Die „X Mask“ nutzt statt Kameras spezielle Sensoren im elastischen Material, um Mimik zu erfassen und in VR zu übertragen.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

VR-Enthusiast:innen nehmen für bestmögliches Tracking einiges auf sich: Neben Vive- und Tundra-Trackern für Arme und Beine ziehen sich manche Nutzer:innen haptische Handschuhe wie den ContactGlove an, damit ihr Avatar Bewegungen möglichst exakt imitiert.

Gesichtserkennung wie bei der Meta Quest Pro oder dem Vive Facial Tracker läuft typischerweise per Kamera-Erfassung ohne den Einsatz von Stoff ab. Das könnte sich jedoch bald ändern: Das Start-up Dolami aus San Francisco arbeitet derzeit an der „X Mask“ für die Mimikerkennung.

Gesichtstracking per Maske

Die mit Unterstützung der Universität Osaka entwickelte Maske soll Bewegungen des Gesichts mit einer Genauigkeit von über 95 Prozent bei einer Latenz von 200 Millisekunden replizieren können.

Ein Foto der X Mask

Details zum verwendeten Stoff oder verbauten Sensoren sind noch unklar. | Bild: Dolami Inc.

Für einen VR-Controller in einem Shooter wäre diese Latenz deutlich zu hoch. Für die Vermittlung von Emotionen in einer Social App wie VRChat dürfte sie hingegen ausreichen, damit die Mimik einigermaßen zeitgleich mit der Stimme und mit Handgesten beim Gegenüber ankommt.

Die Sensoren sind innerhalb der Maske integriert. Sie haben keinen direkten Kontakt mit der Haut und lösen daher keine Irritationen aus, so der Hersteller. Detaillierte technische Hintergründe verrät das Start-up nicht, aber wahrscheinlich wird es sich um Elektroden handeln wie bei vergleichbaren Projekten.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Mit 90 Dollar ist die X-Mask ungefähr so teuer wie HTCs Focus 3 Facial Tracker für rund 100 Euro. Letztgenannter ist mit circa 11 Gramm deutlich leichter als die Maske mit 127,6 Gramm.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Vertriebspläne in Japan und den USA

Die X-Mask soll 2023 zunächst in Japan und den USA auf den Markt kommen. Für den Vertrieb in den USA gründete Dolami bereits einen Hauptsitz in San Francisco. Mögliche Europa-Pläne sind noch nicht bekannt. Zu den Kapitalgebern zählen unter anderem CyberAgentCapital, East Ventures sowie F Ventures.

Insbesondere in Japan besteht auch außerhalb von VR Interesse an präzisen, erschwinglichen und unkomplizierten Tracking-Technologien, etwa für die Aufnahme von VTube-Streams mit Avataren virtueller Stars. Sony kündigte beispielsweise im November das günstige Körpertracking „Mocopi“ für VRChat und Meta Quest an, das besonders dezente Sensoren nutzt.

Quellen: Dolami Inc., offizielle Website