Neue Social-VR-Demo kombiniert Augen- und Mimiktracking

Das japanische Unternehmen 360channel kombiniert verschiedene Technologien und zeigt, wie realistisch sich Avatare zukünftig in virtuellen Welten unterhalten könnten.

Soziale Erfahrungen in Virtual Reality können ihr Potenzial erst dann vollständig entfalten, wenn neben den Körperbewegungen auch die Mimik in VR übertragen wird. Aktuelle Social-Apps wie Facebook Spaces geben dem Nutzer zwar die Möglichkeit, Mimik via Knopfdruck zu simulieren, das ist jedoch nicht intuitiv und geht in der virtuellen Gesprächsrunde schnell vergessen.

Mehr soziales Potenzial versprechen spezielle Kamerasysteme, die auf die Kinnpartie gerichtet sind und die Mundbewegungen in Echtzeit erfassen und auf einen virtuellen Avatar übertragen können. Die Modellierung von Mundbewegungen rein anhand von Audiosignalen ist im Vergleich deutlich weniger präzise.

___STEADY_PAYWALL___

Drei Technologien für einen realistischen Avatar

Das japanische Unternehmen 360channel kombiniert drei Technologien für ein sozialeres VR-Erlebnis: hochwertig gerenderte Avatare mit glaubhaften Gesichtszügen und detaillierter Mimik von Facerig, die VR-Brille Fove, die mit integrierten Infrarotkameras Augenbewegungen erfassen kann, und eine Mimiktrackingkamera von Binary VR.

Die Kamera von Binary VR ist seit Anfang des Jahres als Entwicklerversion erhältlich und kostet 350 US-Dollar zuzüglich Steuern und Versand. Sie wird an der Vorderseite der VR-Brille montiert und ist derzeit mit HTC Vive, Oculus Rift, OSVR und Deepoon VR kompatibel. Das Entwicklerkit kommt mit einem Plugin für Unity.

Die Kamera wird pro Nutzer einmal kalibriert und überträgt die Mimik anschließend ohne spürbare Latenz schnell und präzise auf virtuelle Avatare.

Seit gut zwei Jahren gibt es wiederholt Demonstrationen von verschiedenen Unternehmen, die mit solchen und ähnlichen Verfahren bessere soziale Interaktion in virtuellen Umgebungen ermöglichen wollen. Eine Alternative zur Kamera sind Elektroden, die in der Gesichtspolsterung der VR-Brille verbaut sind und die Muskelbewegungen anhand elektrischer Signale erfassen und als Mimik interpretieren.

In der zweiten Generation VR-Brille könnte das Mimik-Tracking standardmäßig verbaut sein. Bislang hat allerdings noch kein Unternehmen die Technologie zur Marktreife geführt.

https://www.youtube.com/watch?v=QyLYDImSMTo

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.