Facebook zeigt nahezu perfektes Handtracking
Handtracking ist eine große Herausforderung, sobald sich die Hände gegenseitig in die Quere kommen. Facebook scheint das Problem gelöst zu haben, wenn auch mit hohem technischen Aufwand. Die beim Verfahren gewonnenen Daten könnten dennoch VR-Brillen wie Oculus Quest 2 zugutekommen.
Im November zeigten die Forscher des Facebook Reality Labs (FRL), wie sie mit KI-Unterstützung das Tracking für die Oculus Quest 2 (Test) verbesserten: Megatrack (Monochrome Egocentric Articulated Hand-Tracking) liefert robustes Handtracking in nahezu allen Lichtverhältnissen.
Doch sobald zwei Hände miteinander oder mit Gegenständen interagieren, kommt das System nicht mehr hinterher. Denn diese Art der Interaktion geht mit der Verdeckung von einzelnen Fingern oder anderen Teilen der Hand einher.
___STEADY_PAYWALL___Finger in allen Situationen zu erkennen, und nicht nur dann, wenn sie gut und einzeln sichtbar sind, bezeichnen die Facebook-Forscher als die größte Herausforderung für ein Handtracking-System.
Das sind typische Posen, bei denen gängiges Handtracking beispielsweise für Oculus Quest noch versagt. Facebooks neues Verfahren kann auch diese komplexe Fingergymnastik noch tracken. | Bild: Facebook
Ansätze wie Megatrack wollen dieses Problem mit einem virtuellen Handmodell lösen, das von der Tracking-Software über die Handaufnahmen der Videokameras in der Brille gelegt wird. Das virtuelle Handmodell orientiert sich an den von der KI vorhergesagten Posen der einzelnen Gelenke.
Doch in der Praxis ist das Verfahren nicht gut genug, vor allem da die genutzten virtuellen Modelle nicht die Flexibilität und Verformbarkeit menschlicher Haut und Muskeln erfassen.
Virtuelles Fleisch ersetzt 3D-Knochen
Eine weitere Gruppe FRL-Forscher zeigt nun ein KI-freies System, das diese komplexen Handverformungen in Echtzeit tracken kann und selbst dann noch mitkommt, wenn es Zeichensprache oder verschränkte Hände tracken muss.
Statt eines Skelettmodells wie bei Megatrack setzen die Forscher ein elastisches 3D-Modell ein, mit dem dort, wo die Kamera nicht mehr mitkommt, die Verformungen modelliert werden können.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
- Kündigung jederzeit online möglich
Dafür überlagern die Forscher die Hand in den Kameraaufnahmen zuerst mit einem Oberflächengitter. Daraus generieren sie dann eine 3D-Hand aus Tetraeder-Gitter. Sie nutzen dafür TetGen, eine Software für die Generierung von 3D-Geometrie.
Der 3D-Hand weisen die Forscher physikalische Eigenschaften zu, die der Elastizität einer menschlichen Hand nahekommen. Die sichtbaren Regionen der Hände werden von Kameras getrackt. Wo es zu Verdeckungen kommt, leitet das Tracking-System Deformationen und Kollisionen aus dem 3D-Handmodell ab.
Keine KI, dafür jede Menge Kameras
Die FRL-Forscher schaffen so das bisher genauste Handtracking-System. Das braucht allerdings 124 Kameras, einen Intel E5-2698 Xeon Prozessor sowie eine Nvidia Tesla V100 GPU und wird daher vorerst nicht in Facebooks VR-Brillen zum Einsatz kommen. Dazu kommt, dass es selbst mit dieser Hardware immer mal wieder zu kleinen Trackingfehlern kommt.
Die gewonnenen Erkenntnisse und Trackingdaten könnten in Zukunft jedoch womöglich genutzt werden, um KI-basierte Modell wie Megatrack zu verbessern.
Die Forscher sehen abseits von VR und AR weitere Anwendungen für ihr System bei digitalen Avataren, für lebensnahe Animationen von CGI-Charakteren in Filmen, für die Erforschung von Körpersprache in den Sozialwissenschaften oder in der Medizin sowie für körperliche Rehabilitation.
Titelbild: Facebook | Via: Facebook
Weiterlesen über XR-Technologie:
- Alexa-Brille “Echo Frames”: So urteilen Tester
- HP Reverb G2 im Test: Schärfer als die Realität?
- Lynx R-1: Kompakte XR-Brille kommt später
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
