Half-Life Alyx: PC-VR-Experiment versprüht Metaverse-Magie
UPDATEAusführliche Erklärung des Entwicklers hinzugefügt (am Ende des Artikels).
Eine Künstlerin betritt City 17 mit einer VR-Brille und malt Szenen aus der Spielwelt mithilfe einer anderen VR-App. Wie ist das möglich?
Die Charakterkünstlerin Liz Edwards hat es sich in Russells Unterschlupf gemütlich gemacht. Mit Staffelei, Pinsel und Palette malt sie ein Porträt des Untergrundkämpfers, während dieser in seinen Computer vertieft ist.
Unterstützt Half-Life: Alyx seit kurzem virtuelle Ölmalerei? Keineswegs. Das Malen ermöglicht ein anderes VR-Programm, das als App-Overlay in die Welt von Half-Life: Alyx geholt wird: die Ölmalerei-Simulation Vermillion. Die Malszene zeigt demnach eine VR-Welt, die in AR-Manier um eine weitere VR-App erweitert wird.
___STEADY_PAYWALL___Painting Russell's portrait inside Half-Life: Alyx using Vermillion ✨ pic.twitter.com/lBP4LgThTe
— Liz Edwards 💛💙 (@lizaledwards) February 11, 2023
Das Vermillion-Overlay ist nicht auf Half-Life: Alyx beschränkt und lässt sich auch in andere SteamVR-Apps importieren. "Es ist absolut verrückt, in jedem SteamVR-Spiel ganz nebenbei Ölmalerei betreiben zu können", schreibt Edwards.
Beta-Version ab sofort erhältlich
Die Importfunktion programmierte Vermillion-Schöpfer Thomas van den Berge in knapp einer Woche, aus Neugier, ob so etwas möglich sei.
"Es ist ein Overlay, das über SteamVR hinweg läuft und mit dem man unabhängig vom Spiel interagieren kann. Bislang habe ich Derartiges nur in Form von 2D-Fenstern gesehen", schreibt Van den Berge auf Twitter.
Und was passiert, wenn man mitten in der kontemplativen Malstunde von Combine oder Headcrabs angegriffen wird? Keine Sorge: Laut Van den Berge kann man jederzeit zurück in die Steuerung des Spiels zurückwechseln, um sich der Eindringlinge zu erwehren.
Wer das Beta-Feature ausprobieren will, muss es in den Startoptionen der VR-App aktivieren. Mit HTC Vive und Valve Index soll das virtuellen Malen in VR-Welten flüssig laufen, bei Quest kann es hingegen noch zu Rucklern kommen. Daran arbeitet Van den Berge noch.
Ein Blick in die Metaverse-Zukunft?
Das Experiment zeigt das unausgeschöpfte Potenzial des Metaverse-Konzepts.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Was wäre, wenn man nicht bloß Avatare und Gegenstände von einer virtuellen Welt in die nächste mitnehmen, sondern VR-Apps innerhalb einer anderen öffnen könnte? Wieso sollte eine virtuelle Welt ein Endprodukt sein und nicht ihrerseits unendlich erweiterbar?
Die Möglichkeiten einer Augmentierung von VR-Welten, einer Kombination und Verschachtelung von VR-Apps lässt sich heute noch gar nicht ermessen. Van den Berges interessantes Experiment lässt einen Spalt weit in eine solche Zukunft blicken.
So funktioniert das Vermillion-Overlay
Thomas van den Berge hat mir auf Nachfrage erklärt, wie die Technologie funktioniert. Nachfolgend eine Übersetzung seiner Nachricht aus dem Englischen:
"Zunächst ein wenig technischer Hintergrund zur Funktionsweise des Renderings in VR: Die Spielwelt wird für jedes Auge gerendert, genau wie bei einem Flachbildschirmspiel. Danach wird jedoch die Ausgabe für jedes Auge verzerrt, um die Verzerrung der Linsen auszugleichen. Dadurch wird das gerenderte Bild gestreckt und unscharf. Aus diesem Grund müssen Sie mit einer höheren Auflösung rendern als die Anzahl der Pixel auf Ihrem Headset, um ein scharfes Bild zu erhalten, oder warum eigenständige VR-Spiele, die nicht über das entsprechende Leistungsbudget verfügen, unschärfer aussehen als Spiele auf dem PC.
VR-Laufzeiten sind in der Lage, Texturen direkt auf das endgültige Bild zu legen, das an die Bildschirme des Headsets gesendet wird, ohne dass sie verzerrt werden müssen, um den Linsen zu entsprechen. Sie müssen eine bestimmte Form haben: ein Rechteck, einen Zylinder oder ein 360°-Panorama. Diese Technologie steckt hinter den gestochen scharfen Menüs, die Sie sehen, wenn Sie Ihr VR-Dashboard öffnen. Overlays werden auch von Spielen verwendet, um ein besser lesbares Menü im Spiel zu erhalten.
Mit OpenVR, der VR-Laufzeitumgebung hinter SteamVR, können Sie noch einen Schritt weiter gehen: Sie können eine Anwendung nicht als Spiel, sondern als reines Overlay starten, so dass Sie sowohl ein Spiel als auch eine oder mehrere Overlay-Anwendungen gleichzeitig laufen lassen können. Dies wurde bisher von Anwendungen wie LIV oder Desktop+ genutzt, um zusätzliche Informationen in VR auf schwebenden rechteckigen Overlays anzuzeigen. OpenVR unterstützt auch das Erfassen von Eingaben in Overlays, so dass Sie die Eingaben aus dem Spiel überschreiben können, um zu verhindern, dass Spielaktionen stattfinden, wenn Sie eigentlich mit dem Overlay interagieren wollen.
Mit Vermillion musste ich jedoch eine ganze 3D-Szene als Overlay anzeigen, nicht nur ein schwebendes Panel. Für die Overlay-Funktion gibt es praktisch keine Dokumentation, und nach dem, was ich auf Twitter las, gab es keine Möglichkeit, ein 3D-Overlay reibungslos zum Laufen zu bringen. Ich war schon kurz davor aufzugeben, als mich jemand auf Joe Ludwig aufmerksam machte. Er ist einer der Entwickler bei Valve, die hinter SteamVR stehen, und hat im Jahr 2020 zufällig Aardvark XR entwickelt. Aardvark ist eine Overlay-Anwendung, die eine vollständige 3D-Szene zeichnet, eine vom Benutzer erweiterbare Plattform zur Erstellung räumlicher Widgets. Aardvark ist eine Open-Source-Anwendung, und obwohl es sich um eine native C++-Anwendung handelt und Vermillion mit Unity erstellt wurde, hatte es alle Komponenten, die ich brauchte, um zu verstehen, wie man eine 3D-Overlay-Szene erstellt.
Es nutzt den 360-Panorama-Overlay-Modus, indem es die Augenausgaben des Overlays zu einem Stereopanorama verzerrt. Die nächste Herausforderung besteht darin, die Kameraposition und -drehung mit der des gerenderten Spiels in Einklang zu bringen. Das Overlay ist völlig unabhängig vom Spiel und hat keine Ahnung, wo sich die Kamera im Spiel befindet. Wenn die Kamerabewegung im Spiel und im Overlay nicht übereinstimmen, scheint das Overlay zu "ruckeln" oder hinterherzuhinken. Sobald die Framerate des Overlays nicht mit der des Spiels übereinstimmt, wird dies sehr deutlich.
Bisher konnte ich auf SteamVR-Headsets (wie Vive und Index) ein sehr stabiles Ergebnis erzielen, das die Illusion, dass die Vermillion-Staffelei Teil des Spiels ist, vollständig verkauft. Leider scheint es, dass die zusätzlichen Schritte, die für das Spielen auf Quest over (Air) Link erforderlich sind, eine Störung verursachen, da es dort derzeit noch Ruckeln gibt. Ich drücke die Daumen, dass ich das in den Griff bekomme!"
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
