Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser und lade die Seite neu.
Handtracking ist eine große Herausforderung, sobald sich die Hände gegenseitig in die Quere kommen. Facebook scheint das Problem gelöst zu haben, wenn auch mit hohem technischen Aufwand. Die beim Verfahren gewonnenen Daten könnten dennoch VR-Brillen wie Oculus Quest 2 zugutekommen.
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen. Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.
Doch sobald zwei Hände miteinander oder mit Gegenständen interagieren, kommt das System nicht mehr hinterher. Denn diese Art der Interaktion geht mit der Verdeckung von einzelnen Fingern oder anderen Teilen der Hand einher.
___STEADY_PAYWALL___
Finger in allen Situationen zu erkennen, und nicht nur dann, wenn sie gut und einzeln sichtbar sind, bezeichnen die Facebook-Forscher als die größte Herausforderung für ein Handtracking-System.
Das sind typische Posen, bei denen gängiges Handtracking beispielsweise für Oculus Quest noch versagt. Facebooks neues Verfahren kann auch diese komplexe Fingergymnastik noch tracken. | Bild: Facebook
Ansätze wie Megatrack wollen dieses Problem mit einem virtuellen Handmodell lösen, das von der Tracking-Software über die Handaufnahmen der Videokameras in der Brille gelegt wird. Das virtuelle Handmodell orientiert sich an den von der KI vorhergesagten Posen der einzelnen Gelenke.
Doch in der Praxis ist das Verfahren nicht gut genug, vor allem da die genutzten virtuellen Modelle nicht die Flexibilität und Verformbarkeit menschlicher Haut und Muskeln erfassen.
Virtuelles Fleisch ersetzt 3D-Knochen
Eine weitere Gruppe FRL-Forscher zeigt nun ein KI-freies System, das diese komplexen Handverformungen in Echtzeit tracken kann und selbst dann noch mitkommt, wenn es Zeichensprache oder verschränkte Hände tracken muss.
Statt eines Skelettmodells wie bei Megatrack setzen die Forscher ein elastisches 3D-Modell ein, mit dem dort, wo die Kamera nicht mehr mitkommt, die Verformungen modelliert werden können.
Dafür überlagern die Forscher die Hand in den Kameraaufnahmen zuerst mit einem Oberflächengitter. Daraus generieren sie dann eine 3D-Hand aus Tetraeder-Gitter. Sie nutzen dafür TetGen, eine Software für die Generierung von 3D-Geometrie.
Der 3D-Hand weisen die Forscher physikalische Eigenschaften zu, die der Elastizität einer menschlichen Hand nahekommen. Die sichtbaren Regionen der Hände werden von Kameras getrackt. Wo es zu Verdeckungen kommt, leitet das Tracking-System Deformationen und Kollisionen aus dem 3D-Handmodell ab.
Keine KI, dafür jede Menge Kameras
Die FRL-Forscher schaffen so das bisher genauste Handtracking-System. Das braucht allerdings 124 Kameras, einen Intel E5-2698 Xeon Prozessor sowie eine Nvidia Tesla V100 GPU und wird daher vorerst nicht in Facebooks VR-Brillen zum Einsatz kommen. Dazu kommt, dass es selbst mit dieser Hardware immer mal wieder zu kleinen Trackingfehlern kommt.
Die gewonnenen Erkenntnisse und Trackingdaten könnten in Zukunft jedoch womöglich genutzt werden, um KI-basierte Modell wie Megatrack zu verbessern.
Die Forscher sehen abseits von VR und AR weitere Anwendungen für ihr System bei digitalen Avataren, für lebensnahe Animationen von CGI-Charakteren in Filmen, für die Erforschung von Körpersprache in den Sozialwissenschaften oder in der Medizin sowie für körperliche Rehabilitation.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.