Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser und lade die Seite neu.
Seit Anfang Dezember erkundet die Menschheit die Tiefen des neuronalen Netzes von OpenAIs ChatGPT. Ein Entwickler hat die Dialog-KI dazu gebracht, funktionsfähigen AR-Code auszuspucken.
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen. Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.
OpenAIs Dialog-KI ChatGPT ist eigentlich auf die Generierung von Texten und die Beantwortung von Wissensfragen optimiert. Doch die ersten Tests von Anfang Dezember zeigten schnell, dass in dem System mehr steckt als nur ein paar ordentlich formulierte Sätze. Programmiercode beispielsweise.
ChatARKit – AR-Apps von ChatGPT
Der Entwickler Bart Trzynadlowski wollte herausfinden, ob er mit ChatGPT eine AR-App entwickeln kann, die digitale 3D-Objekte eigenständig nur per Sprachbefehl in der Umgebung platziert. Die Sprachbefehle erkennt er ebenfalls per KI-Modell – OpenAIs Whipser – und bringt sie dann als KI-Prompt in die JavaScript-Umgebung der ChatARKit-App.
Das Ergebnis: ChatGPT wählt zum Sprachbefehl passende 3D-Objekte bei Sketchfab aus und platziert sie je nach Aufforderung etwa auf den Schreibtisch oder den Fußboden, skaliert und dreht die 3D-Modelle. Den Code hierfür erzeugt ChatGPT eigenständig.
Laut Trzynadlowski arbeitet ChatGPT jedoch nicht verlässlich. Für identische Befehle erzeuge das KI-Modell sehr unterschiedliche Ausgaben und platziere fehlerhafte JavaScript-Code-Zeilen in der App. Vereinzelt verwandele ChatGPT Objektbeschreibungen in Code-Identifier, wodurch diese dann nicht mehr bei Sketchfab abgerufen werden könnten.
Für VR zeigte kürzlich die Entwicklerin Jasmine Roberts eine Implementierung von OpenAIs neuer 3D-KI Point-E: Sie kann wie die Bild-KI DALL-E 2 allein anhand eines Textbefehls 3D-Punktewolken generieren, die ein 3D-Modell repräsentieren. Pro Generierung benötigt Point-E nur rund ein bis zwei Minuten auf einer einzelnen Nvidia V100 GPU. Die Demo von Roberts läuft in Echtzeit.
here is a bare-bones "holodeck" #3d implementation real-time in #unity. spoken user commands are compiled at runtime. 3d objects are created, loaded and manipulated via @openai's gpt-3. pic.twitter.com/4xg0FKYkEk
Point-E ist für OpenAI ein Startpunkt für weitere Arbeiten in der Text-zu-3D-Synthese. Auch Google mit Dreamfusion oder Nvidia mit Magic3D stellten kürzlich Text-zu-3D-Systeme vor, die bei der weiteren Verbreitung von 3D-Inhalten – eine grundlegende Annahme der Metaverse-These – zukünftig eine wichtige Rolle spielen könnten.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.