Project Cambria: Qualitätssprung beim Handtracking?

Project Cambria: Qualitätssprung beim Handtracking?

Project Cambria ist der Codename für Metas kommende VR-AR-Brille. Sie bringt eine Vielzahl neuer Features, doch verbessert sie auch das Handtracking?

Das Handtracking der Oculus Quest (2) ist längst nicht perfekt. Die Hände und Finger zittern und ziehen leicht nach und feine Interaktionen mit digitalen Objekten brauchen viel Geduld. Handtracking-Spiele wie Hand Physics Lab (Test): Sie machen gerade deshalb Spaß, weil die Technik ungenau ist und zu katastrophalen Ergebnissen führen kann. Hinzu kommt, dass die Hände verschwinden, sobald sie sich überkreuzen oder verdeckt werden.

Vor der Connect 2021 spekulierte ich, welche drei neuen Hardware-Features Metas kommendes Highend-Gerät, vor der offiziellen Enthüllung noch "Oculus Quest Pro" bezeichnet, bieten wird. Dann kam die Ankündigung von Project Cambria.

___STEADY_PAYWALL___

Eye-Tracking? Check! Hochwertige Mixed Reality dank hochauflösender RGB-Kameras? Check! Verbessertes Handtracking? Hmm. In diese Richtung wurde nichts angedeutet.

Handtracking kann noch viel besser werden

Zum Glück verriet John Carmack nach der Keynote etwas mehr zum Handtracking der Mixed-Reality-Brille. Nach seinem einstündigen Connect-Vortrag wechselte er in Horizon Worlds und beantwortete in Gestalt eines Avatars Fragen von VR-Entwickler:innen. Dabei kam er auch auf das Handtracking von Project Cambria zu sprechen.

Carmack stellte zunächst die Software-Errungenschaften der letzten Jahre heraus: Oculus habe Handtracking ohne dafür ausgelegte Hardware ermöglicht und es seit Erscheinen stetig verbessert, was auch in Zukunft zu erwarten sei. "Es hat sich viel getan und das Potenzial ist längst nicht ausgeschöpft", sagt Carmack.

Cambria: Bessere Sensoren, besseres Handtracking?

Dennoch könne Hardware definitiv helfen: seien es Infrarot-Illuminatoren, die unsichtbar die Hände ausleuchten, sodass die Kameras sie genauer erfassen oder schlicht bessere, hochauflösende Sensoren, die Farbinformationen aufnehmen. "Farbkameras helfen bei der Hauterfassung", sagt Carmack.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

Project Cambria werde zwar keine Sensoren speziell fürs Handtracking verbaut haben. Carmack erwartet aber, dass der neue Satz Sensoren zu einem besseren Handtracking führen wird. Auch wenn KI-Algorithmen dafür neu trainiert und erneut viel Optimierungsarbeit geleistet werden müsse.

Weil das Ausgangsmaterial – die Bilder der hochauflösenden RGB-Kameras – mehr Informationen enthält, werde aber auch der Prozessor stärker gefordert werden. Dies wiederum wird laut Carmack auf Kosten anderer Dinge gehen.

Handtracking bleibt ein "kaputter Controller"

Project Cambria werde wahrscheinlich besseres Handtracking als Oculus Quest 2 (Test) bieten, aber Carmack erwartet, dass sich letzteres dank Software-Updates weiterentwickeln wird. Perfekt werde es mit keinem der beiden Geräte, sodass Entwickler:innen weiterhin Tricks werden anwenden müssen.

"Handtracking ist derzeit wie ein kaputter Controller. Manchmal funktioniert es, aber es ist längst nicht perfekt. Es ist leicht, sich darüber aufzuregen", sagt Carmack. "Aber wenn man es wie die Schwerkraft akzeptiert, dann ist es nur ein Konzept des Universums, das sich mit Cleverness umgehen lässt. Und wenn das Handtracking in sechs Monaten oder einem Jahr auf magische Weise besser wird, dann ist das umso besser."

Den ganzen Ausschnitt könnt ihr euch in folgendem Video anschauen.

Weiterlesen über Project Cambria:

Meta Quest 2 bestellen

Alle Informationen zur Meta Quest 2 findet ihr in im verlinkten Test.