Facebook zeigt eindrucksvolles Ganzkörpertracking

2.05.2019 Tomislav Bezmalinovic

Auf der zweiten Keynote der F8-Entwicklerkonferenz demonstrierte Facebook die hauseigene Forschung an Ganzkörpertracking für Virtual und Augmented Reality. Sie könnte realistischere Avatare sowie vollkommen neue Spiel- und Interaktionskonzepte ermöglichen.

Den Vortrag hielt Ronald Mallet, ein Forschungsleiter der Facebook Reality Labs. Er wiederholte Facebooks VR/AR-Mantra: dass Virtual und Augmented Reality für das soziale Netzwerk vor allem eine Funktion hätten, nämlich Menschen in digitalen oder digital erweiterten Räumen in möglichst lebensechter Weise zusammenzubringen und damit physische Entfernungen zu überwinden.

Damit das möglich werde, müssten die Kommunikationsteilnehmer zunächst in realistische Avatare verwandelt werden. An lebensechten Alter Egos arbeitet das Forschungsteam seit Jahren: Erst Anfang April erschien eine neue Generation Avatare für die Oculus-Plattformen, die aus der Forschung der Facebook Reality Labs hervorging.

Einen Blick in die Zukunft gewährte das Forschungslabor im März und demonstrierte beinahe photorealistische Avatare. Was damals nicht gezeigt wurde, war die Simulation des ganzen Körpers: Von den Avataren sah man nur die Köpfe und Teile des Torsos. Auf der gestrigen Keynote führte Ronald Mallet nun die hauseigene Forschung an Ganzkörpererfassung und Ganzkörpersimulation vor.

Der menschliche Körper: von innen nach außen simuliert

Um Mensch in virtuellen Räumen verbinden, müsse man auch die Körpersprache in die VR und AR übertragen, meint Mallet. Schließlich würden sich in Körperbewegungen und Körperhaltungen Emotionen wie Anteilnahme, Einverständnis und Vertrauen ausdrücken.

Den Körper und seine Bewegungen akkurat einfangen, das habe man bisher mit teurer Motion-Capturing-Technologie und viel Spezialwissen bewerkstelligt. Das Ziel der Facebook Reality Labs sei es, eine skalierbare Lösung für den Massenmarkt zu entwickeln, die ohne Marker auskommt und mit handelsüblichen Sensoren funktioniert.

Für eine möglichst lebensechte Simulation menschlicher Bewegungen haben die Facebook-Forscher ein wissenschaftlich akkurates digitales Modell des Körpers entwickelt, das die menschliche Anatomie nachahmt: vom Skelett über das Muskelspiel bis hin zur Haut. So werden erfasste Bewegungen nach der Übertragung auf den Avatar physiologisch korrekt animiert, wie in folgendem Video zu sehen ist:

Massenmarktlösung noch Jahre entfernt

Eine weitere Herausforderung war, Avatare flexibel zu gestalten, sodass Nutzer die Größe, das Geschlecht, den Körperbau und den Kleiderstil ihres Alter Egos anpassen können. Visuell sichtbar bleibt mitunter nur noch jener Teil der Persönlichkeit, der sich in den ganz individuellen Bewegungsmustern der jeweiligen Nutzer ausdrückt. Deshalb sei es besonders wichtig, Bewegungen möglichst präzise einzufangen.

Die vollständige Animation des Avatars samt Haut und animierter Kleidung zeigt das folgende Video. Besonders eindrücklich ist, dass für die Echtzeiterfassung des Körpers ein einzelner Sensor zum Einsatz kommt.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Am Ende seiner Präsentation zeigt Mallet den frühen Prototyp einer Live-Interaktion, in der zwei VR-Nutzer miteinander Fussball spielen. Ihre Körperbewegungen werden ohne Marker oder Motion-Capture-Anzüge erfasst und nur mittels "minimaler Capture-Hardware" erfasst und in die Virtual Reality übertragen.

Die größten Herausforderungen für die Entwicklung einer endverbraucherfreundlichen Lösung seien das Sicherstellen einer möglichst tiefen Latenz und die Animation lebensechter Avatare mittels herkömmlicher Sensoren, meint Mallet. Die entsprechende Technologie sei "noch Jahre entfernt".

Das folgende Youtube-Video zeigt Mallets Vortrag in voller Länge. Einen kurzen Überblick über die Evolution der Oculus-Avatare gibt es hier.

Titelbild: Facebook (Screenshot)

Mehr erfahren über Avatare und Ganzkörpertracking:

• GDC 2018: Epic Games zeigt beeindruckende Computerfrau
• Intel stellt KI-gestützte Ganzkörper-Tracking-Software vor
• “Polygon VR” ausprobiert: Vollständiges Körpertracking erfindet VR neu

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.