VR-Metahuman: Dieser Entwickler digitalisiert sich selbst
Der Entwickler Matt Workman startet ein interessantes Experiment: Er will sich selbst einen möglichst realistischen Virtual-Reality-Avatar bauen. Seine Fortschritte dokumentiert er bei Twitter und YouTube.
Für sein Experiment verwendet Workman den MetaHuman Creator, den Epic im Februar als neues Software-Feature für die Unreal Engine 4 vorstellte. Epic verspricht, dass die Software die Kreation digitaler Menschen, die traditionell "schwierig, langsam und teuer" sei, deutlich vereinfacht - und das bei einer hohen Qualität.
Die Rede ist gar von einer Produktionszeit von wenigen Minuten statt Wochen oder Monaten. Dank Epics Pixel-Streaming-Technologie sollen die visuell aufwendig gerenderten Avatare selbst auf schwacher Hardware flüssig mit allen Details animiert werden können.
___STEADY_PAYWALL___VR-Workman
Gerade VR und AR könnten von der Technik profitieren, wenn Nutzer sich selbst plötzlich auf einfache Art und Weise digital replizieren könnten.
Wie dieser Prozess ablaufen könnte, zeigt Entwickler Matt Workman bei Twitter und YouTube. Er hat den MetaHuman Creator bereits im Einsatz und sich auf Live-Streaming per Avatar spezialisiert.
https://www.youtube.com/watch?v=EHwZQz0bRyg
Bei der VR-Hardware experimentiert Workman mit der VR-Brille Vive Pro-Eye von HTC mit angeschlossenem Lippen-Tracker. So kann er Augen- und Lippenbewegungen realistisch auf seinen Digitalnachbau übertragen.
Seine Hände und den Oberkörper erfasst er über Valves Index (Test) VR-Controller und drei VR-Tracker an der Brust bzw. am Rücken und an den Armen.
my Unreal Engine MOCAP cart ✨ pic.twitter.com/uJOMMvWgdk
— Matt Workman (@cinedatabase) March 10, 2021
Auf die Erfassung der Beine und komplexe Laufanimationen verzichtet Workman zunächst - er will den Avatar primär im Sitzen oder Stehen einsetzen. Eine rudimentäre Ganzkörperbewegung will er per Software-Kalkulation integrieren.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
upper Body Rig coming together now 🦾💪
YT: https://t.co/qgKmxOeLt9 pic.twitter.com/TmBu2pajij— Matt Workman (@cinedatabase) March 5, 2021
Diese VR-Fernsteuerung seines digitalen Selbst bezeichnet Workman als "Real Time Smart Puppet System" statt als "Motion Capture System", da in VR unmittelbar eine Interaktion mit der digitalen Umgebung stattfinde, was bei Motion Capture für gewöhnlich nicht der Fall sei.
Mimik-Tracking geht auch per iPhone
In einer neuen Demo zeigt Workman den aktuellen Stand seines Projekts, das auch ohne VR-Brillen-Tracking funktioniert - in diesem Fall wird seine Mimik per iPhone gefilmt und auf den Avatar übertragen.
https://www.youtube.com/watch?v=KoDXulIDaKY
Der VR-Lippen-Tracker läuft laut Workman allerdings "in den meisten Fällen" präziser dank einer Update-Rate von 60 Bildern pro Sekunde. Mit der VR-Brille habe man außerdem den Vorteil, dass man die digitale Umgebung, in der sich der Avatar befindet, direkt ansieht, was auch nach außen für einen insgesamt realistischeren Eindruck sorge.
Den noch nicht vollständig konfigurierten Lippen-Tracker seht ihr im folgenden Video im Einsatz.
https://www.youtube.com/watch?v=B-ULIhnWuKA
Weiterlesen über digitale Menschen:
- Soul Machines: 40 Millionen US-Dollar für digitale Menschen
- Virtual Beings: KI-Wesen sollen das nächste große Interface werden
- Digitale Menschen: Facebook gibt Einblick in die Evolution der Oculus-Avatare
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
