Meta zeigt beeindruckende KI-unterstützte AR-Brillen-Technologie

Meta zeigt beeindruckende KI-unterstützte AR-Brillen-Technologie

Metas neue KI-Demonstration zeigt, wie die Technologie AR-Brillen dabei helfen kann, Objekte in der Umgebung ohne Tiefensensoren zu erkennen.

Anzeige
Anzeige
FAKTEN

Meta AI hat ein Video veröffentlicht, das zeigt, wie seine Project Aria AR-Brille eine Punktwolke erfassen kann, die das auf Llama AI basierende SceneScript-Modell als identifizierbare reale Objekte wie Wände, Fenster, Türen und Möbel interpretieren kann.

Die Ausgabe ist eine englischsprachige Textdatei, die in strukturiertem Markup-Code formatiert ist und die Abmessungen der Objekte enthält. Die Daten reichen aus, um die Objekte zu umreißen oder ein 3D-Rendering mit Bounding Boxes zu erstellen.

Auf einer Meta Quest 3 lief die SceneScript-Software, und die Forscher nutzten die Passthrough-Ansicht der VR-Brille, um die überlagerten Punktwolkendaten und beschrifteten Szenenelemente anzuzeigen.

Besonders beeindruckend ist, dass SceneScript auch komplexere Geometrien erstellen kann, sodass Tische, Bürostühle und Sofas mehr Details aufweisen.

Anzeige
Anzeige

KONTEXT

Eine Vorschau auf das, was noch kommen wird

Während Metas Project Aria-Brille Daten erfasst, um die Szene zu rekonstruieren, ist der Qualcomm Snapdragon 835-Prozessor in diesen Prototyp-Geräten für die Verarbeitung nicht ausreichend.

Project Aria enthält keinen Tiefensensor, sodass die Punktwolken ausschließlich auf visueller Verarbeitung beruhen. Das ist für AR-Brillen wichtig, da jeder Sensor zusätzliches Gewicht bedeutet, was bei einem Gerät, das auf dem Nasenrücken sitzt, durchaus problematisch ist.

Anzeige
Anzeige

SceneScript ist nicht für die Quest 3 oder die Ray-Ban Meta Smart Glasses verfügbar, aber Metas Forschung gibt einen interessanten Einblick in die Möglichkeiten, die mit zukünftigen AR-Brillen möglich sein werden.

Die Identifizierung von Teilen eines Raums wird wesentlich immersivere Augmented-Reality-Erlebnisse ermöglichen, bei denen virtuelle Inhalte mit der Umgebung interagieren können. Eine App wie „First Encounters“ von Quest 3 könnte in Zukunft auf AR-Brillen laufen.

Quellen: X