VR-Metahuman: Dieser Entwickler digitalisiert sich selbst

VR-Metahuman: Dieser Entwickler digitalisiert sich selbst

Der Entwickler Matt Workman startet ein interessantes Experiment: Er will sich selbst einen möglichst realistischen Virtual-Reality-Avatar bauen. Seine Fortschritte dokumentiert er bei Twitter und YouTube.

Für sein Experiment verwendet Workman den MetaHuman Creator, den Epic im Februar als neues Software-Feature für die Unreal Engine 4 vorstellte. Epic verspricht, dass die Software die Kreation digitaler Menschen, die traditionell „schwierig, langsam und teuer“ sei, deutlich vereinfacht – und das bei einer hohen Qualität.

Die Rede ist gar von einer Produktionszeit von wenigen Minuten statt Wochen oder Monaten. Dank Epics Pixel-Streaming-Technologie sollen die visuell aufwendig gerenderten Avatare selbst auf schwacher Hardware flüssig mit allen Details animiert werden können.

___STEADY_PAYWALL___

VR-Workman

Gerade VR und AR könnten von der Technik profitieren, wenn Nutzer sich selbst plötzlich auf einfache Art und Weise digital replizieren könnten.

Wie dieser Prozess ablaufen könnte, zeigt Entwickler Matt Workman bei Twitter und YouTube. Er hat den MetaHuman Creator bereits im Einsatz und sich auf Live-Streaming per Avatar spezialisiert.

https://www.youtube.com/watch?v=EHwZQz0bRyg

Bei der VR-Hardware experimentiert Workman mit der VR-Brille Vive Pro-Eye von HTC mit angeschlossenem Lippen-Tracker. So kann er Augen- und Lippenbewegungen realistisch auf seinen Digitalnachbau übertragen.

Seine Hände und den Oberkörper erfasst er über Valves Index (Test) VR-Controller und drei VR-Tracker an der Brust bzw. am Rücken und an den Armen.

Auf die Erfassung der Beine und komplexe Laufanimationen verzichtet Workman zunächst – er will den Avatar primär im Sitzen oder Stehen einsetzen. Eine rudimentäre Ganzkörperbewegung will er per Software-Kalkulation integrieren.

Diese VR-Fernsteuerung seines digitalen Selbst bezeichnet Workman als „Real Time Smart Puppet System“ statt als „Motion Capture System“, da in VR unmittelbar eine Interaktion mit der digitalen Umgebung stattfinde, was bei Motion Capture für gewöhnlich nicht der Fall sei.

Mimik-Tracking geht auch per iPhone

In einer neuen Demo zeigt Workman den aktuellen Stand seines Projekts, das auch ohne VR-Brillen-Tracking funktioniert – in diesem Fall wird seine Mimik per iPhone gefilmt und auf den Avatar übertragen.

https://www.youtube.com/watch?v=KoDXulIDaKY

Der VR-Lippen-Tracker läuft laut Workman allerdings „in den meisten Fällen“ präziser dank einer Update-Rate von 60 Bildern pro Sekunde. Mit der VR-Brille habe man außerdem den Vorteil, dass man die digitale Umgebung, in der sich der Avatar befindet, direkt ansieht, was auch nach außen für einen insgesamt realistischeren Eindruck sorge.

Den noch nicht vollständig konfigurierten Lippen-Tracker seht ihr im folgenden Video im Einsatz.

https://www.youtube.com/watch?v=B-ULIhnWuKA

Weiterlesen über digitale Menschen: