Meta zeigt beeindruckendes Ganzkörpertracking nur per Quest-Headset
Bislang tracken VR-Systeme Kopf und Hände. Das könnte sich bald ändern: Das Vorhersage-Talent Künstlicher Intelligenz ermöglicht realistisches Ganzkörpertracking und damit eine bessere Avatar-Verkörperung nur anhand der Sensordaten der Brille und der Controller.
Schon beim Handtracking für Quest zeigte Meta, dass KI eine Grundlagentechnologie für VR und AR ist: Ein mit vielen Stunden Handbewegungen trainiertes neuronales Netz ermöglicht ein robustes Handtracking selbst mit den gering auflösenden Kameras der Quest-Brillen, die nicht speziell für Handtracking optimiert sind.
Möglich wird das durch das Vorhersage-Talent Künstlicher Intelligenz: Dank des im Training angeeigneten Vorwissens reicht wenig Input aus der realen Welt für eine akkurate Übersetzung der Hände in die virtuelle Welt. Eine komplette Echtzeit-Erfassung samt VR-Rendering würde viel mehr Leistung benötigen.
Per KI-Vorhersage vom Hand- zur Körpertracking
Nach dem Training kann QuestSim anhand realer Headset- und Controller-Daten erkennen, welche Bewegung eine Person ausführt. Per KI-Prognose kann QuestSim dabei sogar Bewegungen von Körperteilen wie der Beine simulieren, zu denen zwar keine Echtzeit-Sensordaten vorliegen, deren simulierte Bewegungen aber Teil des synthetischen Motion-Capture-Datensatzes waren, also von der KI gelernt wurden. Für plausible Bewegungen unterliegt der Avatar zudem den Regeln eines Physik-Simulators.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Schon das Headset reicht für einen Ganzkörper-Avatar
QuestSim funktioniert für Personen unterschiedlicher Größe. Weicht der Avatar allerdings von den Proportionen der realen Person ab, wirkt sich das auf die Avatar-Animation aus. Ein großer Avatar für eine kleine Person läuft etwa gebückt. Hier sehen die Forschenden noch Optimierungspotenzial.
Metas Forschungsteam zeigt zudem, dass allein die Sensordaten des Headsets in Kombination mit der KI-Prognose für einen glaubhaft und physikalisch korrekt animierten Avatar ausreichen können.
Die Bewegungsvorhersage klappt am besten bei Bewegungen, die in den Trainingsdaten enthalten waren und die eine hohe Korrelation zwischen Oberkörper- und Beinbewegung haben. Bei komplizierten oder sehr dynamischen Bewegungen wie schnellen Sprints oder Sprüngen kann der Avatar aus dem Tritt kommen oder stürzen. Da der Avatar zudem physikbasiert funktioniert, unterstützt er keine Teleportation.
In weiteren Arbeiten wollen Metas Forschende detailliertere Skelett- und Körperforminformationen ins Training einbinden und so die Vielfalt der Bewegungen der Avatare verbessern.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
