Metas neue KI-Forschung wird Quest 3 und Co. verbessern
Meta will AR- und VR-Brillen ein besseres Verständnis dafür beibringen, wie Menschen mit Objekten interagieren und verspricht sich davon neue Anwendungen.
Das maschinelle Verständnis von Hand-Objekt-Interaktionen ist aufgrund von Verdeckungen der Hände und der komplizierten Art und Weise, wie sich Hände bewegen, noch immer eine Herausforderung.
Forschende der Meta Reality Labs haben nun einen KI-Datensatz namens HOT3D veröffentlicht (Akronym für "Hand and Object Tracking"). Er soll bei der Entwicklung eines bildgestützten Systems helfen, das Hand-Objekt-Interaktionen besser versteht und dadurch neue Anwendungen ermöglicht.
"Ein solches System ermöglicht beispielsweise die Übertragung manueller Fertigkeiten zwischen Nutzern, indem zunächst erfahrene Nutzer bei der Durchführung einer Abfolge von Hand-Objekt-Interaktionen erfasst und die erfassten Informationen zur Anleitung weniger erfahrener Nutzer verwendet werden, z. B. mithilfe von AR-Brillen", schreiben die Forschenden in ihrem Paper. "Die Fähigkeiten könnten in ähnlicher Weise von Menschen auf Roboter übertragen werden, um autonome Roboter zu ermöglichen, die im Handumdrehen lernen. Das System könnte auch einem KI-Assistenten helfen, den Kontext der Handlungen eines Nutzers besser zu verstehen, oder neue Eingabemöglichkeiten für AR/VR-Nutzer ermöglichen, indem es z. B. jede physische Oberfläche in eine virtuelle Tastatur oder jeden Stift in einen multifunktionalen Zauberstab verwandelt."
Der Datensatz ist auf Metas HOT3D-Projektseite verfügbar. Dort gibt es auch einen Link zur Forschungsarbeit.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
HOT3D: Mit und für Quest aufgenommen
Der Datensatz enthält über 800 Minuten an egozentrischen Videoaufnahmen, die Interaktionen mit 33 Alltagsgegenständen zeigen. Neben einfachen Szenarien, in denen Objekte aufgehoben, betrachtet und abgelegt werden, enthält der Datensatz auch typische Handlungen in Küchen-, Büro- und Wohnzimmerumgebungen.
Für die Videodatenerfassung wurden zwei Geräte von Meta eingesetzt: Die Forschungsbrille Project Aria und das VR-Headset Quest 3. Da Meta diese Gerät nutzt, wird der Datensatz wohl primär dazu verwendet, um KI-basierte Systeme für bestehende und zukünftige KI/AR/VR-Brillen des Unternehmens zu trainieren.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
