Virtual Reality: Facebook-Forscher zeigen Handtracking der nächsten Generation
Forscher der Facebook Reality Labs wollen präzises Hand- und Fingertracking ohne aufwendiges Kamera-Setup ermöglichen. In einer wissenschaftlichen Publikation stellen sie einen Lösungsansatz vor, der sich maschinelles Lernen zunutze macht.
Den menschlichen Körper in Echtzeit mittels Marker zu erfassen, stellt kein technisches Problem mehr dar. Kommerzielle Motion-Capturing-Systeme werden seit vielen Jahren in der Film- und Spieleindustrie eingesetzt. Anders sieht es bei der Echtzeiterfassung von Händen und Fingern aus.
Eine Hand besitzt 26 Freiheitsgrade und eine unüberschaubare Zahl möglicher Posen. Um sie korrekt zu erfassen, bedarf es zahlreicher Marker. Das eigentliche Problem ist jedoch die maschinelle Verarbeitung dieser Punkte, da sie den Händen korrekt zugeordnet werden müssen
3D-Rekonstruktion von Gesten aus Bildern
Der immense Vorteil dieses Systems: Die KI kann, ausreichend trainiert, die räumliche Position der Hände und Finger aus 2D-Bildern herleiten. Dadurch wird ein teures Motion-Capturing-Studio wie das der Facebook-Labore überflüssig.
Das künstliche neuronale Netz kommt laut den Forschern mit unterschiedlichen Handgrößen und selbst mit Verdeckungen zurecht. Und es kann Gesten herleiten, die nicht vorab aufgenommen wurden. Das Echtzeit-Tracking soll auf einer modernen Grafikkarte problemlos mit 120 Hertz laufen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
In diesem Studio wurden die Gesten in 3D aufgenommen. BILD: Facebook Reality Labs
Die Forscher schreiben, dass die Technologie nicht auf ein Endkundenprodukt ausgelegt ist. Sie ermögliche jedoch einen Blick in die Zukunft und erlaube es, mit neuen Formen der Interaktion in VR/AR zu experimentieren.
Die entwickelten KI-Algorithmen könnten zudem für die Bewegungserfassung anderer Körperteile oder des ganzen Körpers genutzt werden und somit bestehende Motion-Capturing-Verfahren sinnvoll ergänzen.
Die Forscher geben sich auffällig zurückhaltend bei der Frage, welche kommerziellen VR-Produkte daraus entstehen könnten. Für die nächste Generation VR-Brillen wären womöglich einfache Trackinghandschuhe denkbar.
Die dafür benötigte RGB-Kamera dürfte bereits im Gehäuse der Geräte verbaut sein: Die autarke VR-Brille Santa Cruz hat vier solcher Kameras verbaut und Oculus Rift 2 könnte ebenfalls mit einer oder mehreren Kameras ausgestattet werden.
Wer sich in die Forschungsarbeit einlesen möchte, kann dies hier tun.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
