Facebook VR-Forschung: Was bringen die Telepräsenz-Menschen?

Facebooks Social-VR-Forscher Yaser Sheikh gibt einen detaillierten Einblick in die Entwicklung realistischer virtueller Menschen für mehr VR-Nähe.

Im März stellte Facebook erstmals virtuelle Menschen vor, die ihrem realen Ebenbild verblüffend ähnlich sehen und noch dazu realistisch animiert sind.

Sinn und Zweck der Übung: Realistische Telepräsenz in der Virtual Reality. Telepräsenz ist laut Facebooks Social-VR-Forscher Yaser Sheikh womöglich die einzige VR-Anwendung mit dem Potenzial, Milliarden Menschen für Virtual Reality zu begeistern.

___STEADY_PAYWALL___

Sie setze die Evolution fort vom Fax zum Telefon zu Videokonferenzen, erklärt Sheikh. Aktuelle Telekommunikationstechnologien würden nicht ersetzt, aber VR-Telepräsenz könne bei besonders wichtigen, intimen Gesprächen Nutzen stiften. "Ich tippe, dass es dafür benutzt wird", sagt Sheikh.

Außerdem biete die VR-Telepräsenz mehr Wahlfreiheit bei Beziehungen. "Wir wählen unsere Beziehungen nicht aus. Sie werden dadurch bestimmt, wo wir leben", sagt Sheikh. "Das große Versprechen dieser Technologie - generell von AR und VR - ist, dass wir unsere Beziehungen selbst bestimmen können."

Mensch schlägt Comic

Derzeit setzen alle Social-VR-Anwendungen abstrakte Comic-Avatare ein. Weshalb? Weil's noch nicht besser geht.

Diese Comic-Avatare ähneln im Optimalfall ihrem Erschaffer und repräsentieren ihn. Womöglich kann man die Person hinter dem Avatar wiedererkennen, wenn man sie in der Realität gut kennt. Aber man gewinnt nicht den Eindruck, dass der Avatar tatsächlich die Person sein könnte.

Dieser Eindruck wiederum ist laut Sheikh notwendig für überzeugende soziale Präsenz in VR. Die These hinter Facebooks Avatar-Forschung ist, dass fotorealistische Telepräsenz eine Bedingung ist für soziale Präsenz. Ziel sei es, den eigentlich künstlichen Avatar völlig natürlich wirken zu lassen.

[blockquote cite="Yaser Sheikh, Facebook VR-Forscher"]"Wir wissen, dass Menschen Realität mögen."[/blockquote]

"Wir wissen nicht, ob Comic-Avatare für Milliarden Menschen ansprechend sind. Aber wir wissen, dass Menschen Realität mögen und sich gerne begegnen", sagt Sheikh.

Genau an dieser Stelle kommen Facebooks Codec-Avatare ins Spiel, in denen laut Sheikh mehr als drei Jahre Forschungsarbeit stecken. Sie sollen aussehen, sich bewegen und klingen wie der jeweilige VR-Brillenträger. Codec heißen die Avatare, weil sie während der Übertragung zunächst kodiert und dann wieder dekodiert werden.

KI-Verfahren spielen bei diesem Prozess laut Sheikh eine wichtige Rolle: Das reale Gesicht wird mittels neuronaler Netze in Kombination mit in und an der VR-Brille verbauten Kameras gescannt und dann in Echtzeit auf den Avatar übertragen. Facebook nennt die dafür notwendige Spezialbrille ein "Head Mounted Capture System".

Das 3D-Modell des Avatars wiederum wird vorab in einem aufwendigen und teuren 3D-Fotostudio erstellt.

Facebooks Ziel ist es laut Sheikh, dass all diese Technologie letztlich in nur eine kabellose VR-Brille integriert ist, die man aufsetzt und das Telepräsenz-Telefonat funktioniert. "Wir wissen noch nicht, ob das möglich sein wird", sagt Sheikh.

Der nächste Schritt sei es, neben dem Kopf auch den gesamten Körper einzuscannen und zu animieren.

Eine besonderes haarige Angelegenheit sei die 3D-Rekonstruktion von Frisuren. Allerdings wurden hier laut Sheikh mit KI-Verfahren in den letzten Monaten deutliche Fortschritte erzielt.

Augenkontakt gelingt noch nicht

Nicht gelöst ist laut Sheikh virtueller Augenkontakt, der bei aktuellen Codec-Avataren aufgrund der Kameraverzerrung noch nicht gelingt - so ähnlich wie man sich bei Videokonferenzen nicht in die Augen sehen kann, weil die Parteien als Referenzpunkt für die Augen nur die Position der Webcam haben.

Virtueller Augenkontakt sei noch "komplett daneben", sagt Sheikh. In den Codec-Demovideos schauen die VR-Brillenträger daher immer leicht nach unten weg.

Außerdem seien die Emotionen in den Avatar-Gesichtern noch gedämpft. Sie zeigten nicht die volle emotionale Bandbreite des menschlichen Gesichts.

"Das sind die beiden größten Limitierungen, an denen wir noch arbeiten", sagt Sheikh.

AR-Avatare sind noch Zukunftsmusik

Die Darstellung der Codec-Avatare in Augmented Reality sei noch weiter entfernte Zukunft. "Für mich ist VR der erste Schritt und mit AR kommen viele Herausforderungen hinzu", sagt Sheikh.

Wenn ein Codec-Avatar in die Realität eingebettet werden solle, müsse sich zum Beispiel das reale Umgebungslicht korrekt auf ihm brechen. Außerdem sei nicht klar, wo man an AR-Brillen die Trackingkameras anbringen könne. "AR ist deutlich schwieriger als VR", sagt Sheikh.

Allerdings sind auch die VR-Avatare laut Sheikh noch "weit von einem Produkt entfernt" und "tief in der Forschungsphase". "Es gibt viele, viele Probleme, die uns noch lange begleiten werden", sagt Sheikh. Die aktuellen Ergebnisse würden nur die Richtung zeigen, in die sich Facebook bewege.

Sheikhs vollständigen Vortrag gibt es im folgenden Video. Der Facebook-Forscher geht auf viele technische Details und Fragen aus dem Publikum ein.

Titelbild: Facebook

Weiterlesen über Telepräsenz:

• Podcast: Telepräsenz-Streaming und Ready-Player-One-Absurditäten
• NextVR verspricht ultrarealistische Telepräsenz-Streams in weniger als fünf Jahren
• Oculus-Demo: Realistische Avatare und Hand- und Fingertracking
• Zuckerbergs VR-Auftritt wird zum PR-Desaster

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.