Facebook F8: Oculus zeigt realistische Avatare und Handtracking
Facebook will mit Virtual Reality ein Telepräsenzmedium schaffen, das Menschen erlaubt, sich von überall aus wie im echten Leben zu treffen. Bis diese Vision einer fotorealistischen VR-Telefonie verwirklicht ist, braucht es große technische Fortschritte. In der zweiten Keynote der F8-Entwicklerkonferenz zeigte Facebook, an welchen VR-Technologien der Zukunft das Tochterunternehmen Oculus arbeitet.
"Wir glauben, dass Virtual Reality die einzige Art sein wird, auf die wir Menschen über große Distanzen hinweg miteinander verbinden werden", sagt Facebooks oberster Tech-Chef Mike Schroepfer am Ende seines Vortrags.
Bis dahin seien noch viele technische Probleme zu lösen. Die wichtigsten streicht er heraus: die Verbesserung der optischen Systeme und Displays der VR-Brillen, die vollumfängliche Erfassung und Übertragung von VR-Nutzern und realer Orte in die Virtual Reality und die Simulation realistischer Avatare.
___STEADY_PAYWALL___Schroepfer zeigt auf einem Bild die Entwicklung, die die Avatare von Facebooks Social-VR-App Spaces seit dem ersten Prototyp durchlaufen haben und stellt realistische Lippen-Synchronisation in Aussicht.
In einem kurzen Video sieht man, wohin die Reise langfristig geht: Zwei Oculus-Mitarbeiter unterhalten sich in der Virtual Reality und ihre Gesichter werden samt Mimik fotorealistisch gerendert. Details zur eingesetzten VR-Technologie verrät Schroepfer nicht.
Seine Ausführungen zu Virtual Reality sind im Facebook-Video unten ab -45:40 zu sehen.
Oculus nutzt Trackinghandschuhe ...
Am Ende der Keynote tritt Maria Fernandez Guajardo von Oculus' Technik-Abteilung auf die Bühne. Guajardo ist verantwortlich dafür, dass Oculus-Forschung in marktreife Produkte fließt. Auch sie streicht mehrere Male das Endziel von Facebooks VR-Plänen aus: einen virtuellen Raum zu schaffen, in dem sich Menschen unabhängig von ihrem realen Standort wie in echt treffen können.
Guajardo erläutert zunächst, wie Oculus präzises Handtracking bieten möchte und enthüllt, was es mit Oculus' Trackinghandschuhen auf sich hat. Die waren zum ersten Mal Anfang 2017 bei einem Besuch von Mark Zuckerberg in Oculus' Forschungslaboren zu sehen.
Ein Jahr darauf veröffentlichte Oculus ein Werbevideo, das die Handschuhe in Aktion zeigt. Getrackt werden die Handschuhe mit einer Vielzahl Highend-Sensoren, die um den Nutzer herum aufgebaut sind.
... um eine KI zu trainieren
Unklar war, was Oculus mit diesem aufwendigen Versuchsaufbau bezweckt. Wie dem Keynote-Video und Guajardos Erläuterungen zu entnehmen ist, dient die Testumgebung dem Training eines künstlichen neuronales Netzes: Eine Testperson führt verschiedenste Handinteraktionen aus, die der KI als Trainingsmaterial dienen, sodass sie Hand- und Fingerbewegungen erkennen kann.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Ein Diagramm Guajardos zeigt, dass das System die Bewegung einer einzelnen Hand, zweier Hände und die Interaktion mit Objekten mit einer Genauigkeit von 98 bis 100 Prozent erfassen kann. Wie die Technologie in ein fertiges Produkt implementiert werden soll, sagt Guajardo nicht.
Als nächstes kommt die Oculus-Managerin auf die visuelle Immersion als zweites, großes Arbeitsfeld der Forschung zu sprechen. Hier arbeite man an der Sichtfeldweite und einem variablen Fokus. Guajardo zeigt einen VR-Brillen-Prototyp, der äußerlich an Oculus Rift erinnert, aber ein Sichtfeld von 140 Grad und variablen Fokus bietet (siehe Artikel dazu hier.)
Fotogrammetrie per Smartphone
Zuletzt geht Guajardo auf die Rekonstruktion und Übertragung realer Orte in die Virtual Reality ein. Damit VR-Telefonie glaubhaft wirkt, müsse die Technologie auch die Umgebung der Kommunikationsteilnehmer realistisch wiedergeben. Guajardo stellt drei Techniken vor, an denen Oculus arbeitet.
Die erste wurde auf der Eröffnungskeynote vorgestellt. Sie nutzt maschinelles Lernen und erstellt aus flachen Fotos und Videos begehbare 3D-Räume, die als Punktewolken erscheinen (siehe Artikel dazu hier).
Für den zweiten Ansatz wird ein Smartphone mit Dual-Kamera benötigt. Nutzer erstellen zuerst eine Panorama-Aufnahme. Eine Software extrahiert eine Vielzahl von Doppelbildern, anhand derer ein Algorithmus Tiefeninformationen berechnet und ein 3D-Modell des abfotografierten Objekts zusammennäht. Dieses soll man anschließend in Virtual Reality anschauen oder begehen können. Bei dieser Technik handelt es sich offenbar um eine Form von Cloud-Fotogrammetrie.
Zum Schluss zeigt Guajardo einen dritten Ansatz, der Highend-Technologie nutzt. In einem Demo-Video ist ein Wohnraum zu sehen, der nahezu fotorealistisch eingefangen und gerendert wird und selbst Spiegelungen korrekt wiedergibt. Details zur eingesetzten Technik verrät Guajardo allerdings nicht.
Guajardos Vortrag ist im Facebook-Video unten ab -11:50 zu sehen.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
