Meta zeigt beeindruckende KI-unterstützte AR-Brillen-Technologie
Metas neue KI-Demonstration zeigt, wie die Technologie AR-Brillen dabei helfen kann, Objekte in der Umgebung ohne Tiefensensoren zu erkennen.
Meta AI hat ein Video veröffentlicht, das zeigt, wie seine Project Aria AR-Brille eine Punktwolke erfassen kann, die das auf Llama AI basierende SceneScript-Modell als identifizierbare reale Objekte wie Wände, Fenster, Türen und Möbel interpretieren kann.
Die Ausgabe ist eine englischsprachige Textdatei, die in strukturiertem Markup-Code formatiert ist und die Abmessungen der Objekte enthält. Die Daten reichen aus, um die Objekte zu umreißen oder ein 3D-Rendering mit Bounding Boxes zu erstellen.
Auf einer Meta Quest 3 lief die SceneScript-Software, und die Forscher nutzten die Passthrough-Ansicht der VR-Brille, um die überlagerten Punktwolkendaten und beschrifteten Szenenelemente anzuzeigen.
Besonders beeindruckend ist, dass SceneScript auch komplexere Geometrien erstellen kann, sodass Tische, Bürostühle und Sofas mehr Details aufweisen.
Today we’re introducing SceneScript, a novel method for reconstructing environments and representing the layout of physical spaces from @RealityLabs Research.
Details ➡️ https://t.co/u8aDTZtDVm
SceneScript is able to directly infer a room’s geometry using end-to-end machine… pic.twitter.com/spvEftFk2N
MIXED.de ohne Werbebanner
— AI at Meta (@AIatMeta) March 21, 2024
MIXED.de ohne WerbebannerEine Vorschau auf das, was noch kommen wird
Während Metas Project Aria-Brille Daten erfasst, um die Szene zu rekonstruieren, ist der Qualcomm Snapdragon 835-Prozessor in diesen Prototyp-Geräten für die Verarbeitung nicht ausreichend.
Project Aria enthält keinen Tiefensensor, sodass die Punktwolken ausschließlich auf visueller Verarbeitung beruhen. Das ist für AR-Brillen wichtig, da jeder Sensor zusätzliches Gewicht bedeutet, was bei einem Gerät, das auf dem Nasenrücken sitzt, durchaus problematisch ist.
SceneScript ist nicht für die Quest 3 oder die Ray-Ban Meta Smart Glasses verfügbar, aber Metas Forschung gibt einen interessanten Einblick in die Möglichkeiten, die mit zukünftigen AR-Brillen möglich sein werden.
Die Identifizierung von Teilen eines Raums wird wesentlich immersivere Augmented-Reality-Erlebnisse ermöglichen, bei denen virtuelle Inhalte mit der Umgebung interagieren können. Eine App wie „First Encounters“ von Quest 3 könnte in Zukunft auf AR-Brillen laufen.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
