Trotz Motion Sickness zum VR-Videoexperten: Ein Gespräch mit Björn Sondermann und Jérôme Lozano

MIXED spricht mit den VR180-Videoexperten Björn Sondermann und Jérôme Lozano über ihre Erfahrungen mit immersiven Medien.

Von Daniel Pohl

Das Duo Sondermann und Lozano hat bereits sehr beeindruckende und professionelle VR-Inhalte produziert, die in Qualität und Kameraführung vieles in den Schatten stellen, was bisher auch professionell veröffentlicht wurde.

Wie ist das alles entstanden, was fehlt noch und wohin geht die Reise? Darüber und über vieles mehr sprechen wir in diesem Interview.

Wer sind Sondermann & Lozano?

Hallo Björn und Jerome! Es freut mich sehr, dass ihr die Zeit gefunden habt heute mit mir über eure spannenden Projekte im Bereich VR180 Video zu sprechen. Stellt euch doch einfach mal vor.

Björn Sondermann: Bei mir hat alles mit dem originalen Oculus Entwicklerkit DK1 angefangen. Trotz leichter Motion Sickness war ich von der Technik sehr fasziniert. Im Laufe der folgenden Jahre habe ich dann viele 360° und 3D-Videos in VR angeschaut. Ich war auch sehr beeindruckt von der Joshua Bell VR Experience auf der Playstation VR. Im Jahr 2020 habe ich dann selbst mit verschiedenen VR180-3D-Kameras wie QooCam und Insta360 EVO experimentiert und im Zuge dessen den YouTube-Kanal „We are VR Music“ aufgemacht.

Besonders spannend finde ich, die real gefilmten Welten mit virtuellem Content zu ergänzen, also etwa 3D Szenen oder Texte mit Tools wie Blender oder der Unreal Engine in VR180-3D-Videos zu integrieren. Vor rund anderthalb Jahren habe ich dann Jérôme kennengelernt über sein beeindruckendes VR180 Musikvideo SUIR - Vampires. Darin waren Kamerabewegungen eingebaut, die dank zaghafter Bewegungen bei mir keine Motion Sickness auslösen. Seitdem machen wir viel zusammen im VR-Video-Bereich.

Jérôme Lozano: Ursprünglich komme ich aus dem Post-Processing und Video-Schnittbereich, auch von Werbefilmen. Nebenbei war ich Regisseur von kleineren Musikvideos. Meinen Einstieg in VR-Video habe ich mit der Insta360 X2 Kamera mit einem 360°-2D Video der französischen Band „Blind Delon“ gemacht. Über YouTube VR habe ich noch mehr zu dem Bereich gelernt und dann auch Erfahrungen mit 180°-3D gesammelt, was für mich noch viel interessanter war. Mit der Insta360 EVO haben wir dann das Musikvideo „Mangelexemplar“ erstellt, dass wir auf dem Festival „Amsterdam International Film“ vorgestellt haben und dort den 1. Preis bekommen haben.

Danach habe ich mir das Canon R5 C + 5.2mm Dual Fisheye Set-up gekauft. Es dauerte an die zwei Monate, bis der richtige Workflow für Filmen und Editieren damit gefunden wurde. Zusammen mit Björn haben wir dann weitere VR Experiences gedreht, etwa mit dem Fokus auf POV (Point of View) Shots, um das Erlebnis aus den Augen des Musikers darzustellen. Danke 8K mit 60 fps können wir heute schon eine sehr realistische Darstellung ermöglichen.

Was sind eure Wünsche an zukünftige VR Kameras?

Björn Sondermann: Für uns ist es sehr wichtig, dass der Workflow möglichst effizient ist. Daher wäre ein direktes Speichern der Kamera in das equirektangulare Format (anstatt Fischauge und späterer Konvertierung) für uns eine deutliche Vereinfachung, um schneller editieren zu können. Gerade bei RAW-Verarbeitung haben wir dank vieler Nodes im Editor einen sehr mühsamen Prozess beim Editieren von VR-Videos.

Jérôme Lozano: Die aktuellen Kameras mit 8K Video und 60 fps sind für eine professionelle Aufnahme im Budget relativ erschwinglich. Allerdings wäre es sehr wünschenswert, wenn auch im Consumer-Markt neue, einfachere VR180-Kamera erscheinen würden, um den gesamten VR180-Markt mehr anzukurbeln. Dadurch gäbe es mehr Content und dadurch auch bessere Tools. Ebenso empfinde ich die RAW-Videoaufnahmen als sehr schwierig, da man bei der Aufnahme noch nicht genau weiß, was man am Ende in VR rausbekommen wird.

Habt ihr bereits mit 90 fps experimentiert?

Björn Sondermann: Ja, durch AI-Upsampling der Framerate mit Tools wie Topaz Video AI. Dadurch ist es möglich, Motion Blur bei Bewegungen zu reduzieren und insgesamt einen noch höheren Level an Realismus zu erzeugen. Vermutlich vermissen die meisten Betrachter derzeit noch kein 90 fps, da man es einfach nicht kennt. Ist man es aber gewohnt, kann es gut sein, dass man nicht mehr auf niedrigere Frameraten zurückwill.

Welche Specs seht ihr als Minimum bei VR180 Video?

Björn Sondermann: Für VR180-3D-Video sind 6K und 50/60 fps gerade so noch im Einstiegsbereich okay. Wir haben dies vor Kurzem auch erst mit der Calf Kickstarter Kamera getestet. Dort ist übrigens der Workflow viel einfacher, da dort das Filmmaterial direkt equirektangular abgespeichert wird. So richtig spannend wird es aber erst ab 8K Auflösung. Einige neuere Set-ups aus Kamerabody und VR-Linse bieten 4K VR180-3D Video. Bei dieser niedrigen Auflösung besteht allerdings die Gefahr, dass man Zuschauer damit verschreckt, wie damals bei den ersten VR-Videos auf der Samsung Gear VR. Damals gab es nur niedrigqualitativen Videos, wodurch viele User komplett von dem Thema abgekommen sind. Im Bereich der Headsets wäre es natürlich wünschenswert, noch eine größere Verbreitung zu haben. Bei der Meta Quest 3 wird bereits sehr vieles richtig gemacht, mit einer guten Qualität bei einem guten Preis.

Jérôme Lozano: Die aktuelle Qualität, die wir mit 8K erreichen, ist bereits sehr gut. Was zu einem großen Teil aber fehlt, ist die Verbreitung des Contents. Was will das Publikum eigentlich sehen? Sind das Musikvideos? Reisevideos? Bei vielen VR-Videoplattformen wie YouTube VR ist das Abspielen der Videos unhandlich gelöst. Erst mit mehreren Klicks kann man die Qualität entsprechend hoch einstellen, die das Videoerlebnis benötigt, um zu wirken.

Was waren die wichtigsten Änderungen im VR-Video-Markt in den letzten Jahren?

Björn Sondermann: Das war für uns der Einstieg von Canon in das professionelle VR180-Segment. Dies ist ein sehr mutiger Schritt, über den wir ausgesprochen glücklich sind. Auch das Aufkommen von VR Standalone-Geräten wie Meta Quest hat vieles verändert, da man nun bequem ohne Kabel VR-Videos schauen kann.

Motion Sickness in VR: Wie sind eure Erfahrungen und was tut ihr dagegen?

Björn Sondermann: Sehr starke Motion Sickness hatte ich damals bei der Playstation VR bei einem Spiel, in dem man in VR über Paris mit einem Adler fliegt. Der Adler flog in die Richtung, in die man blickt. Damals hatte ich versucht, das jeden Tag einige Minuten zu probieren, allerdings hat sich keine Besserung eingestellt. Als ich dann in den VR-Videobereich bin, habe ich daher gar keine Bewegungen in Videos gemacht. Mittlerweile wissen wir, dass wenn wir in VR-Videos Bewegung machen wollen, dass wir dies dann nur in kürzeren Cuts des Videos machen, damit das Unwohlsein auch schneller wieder weggeht.

Jérôme Lozano: Ich selbst bin sehr anfällig für Motion Sickness. Das hat in diesem Fall allerdings den Vorteil, dass ich in unserem produzierten Content schnell beurteilen kann, wie sich auf empfindliche Nutzer auswirken wird. Wenn wir Bewegungen in Videos machen, dann sehr bewusst eingesetzt. Diese sind dann sehr langsam ausgeführt. Es ist auch sehr wichtig, dass keine seitlichen Bewegungen vorkommen. Die Bewegung selbst muss dann mit einem Gimbal ausgeführt werden, um stabile Ergebnisse zu bekommen. In dieser Hinsicht ist VR180-3D-Video gegenüber der klassischen Videografie ziemlich einschränkend: keine schnellen Bewegungen, nicht mal schnell über die Bühne fliegen und die Musiker zeigen oder so. Manchmal experimentieren wir mit verschiedenen Ideen in VR, das kann aber schnell schiefgehen und zu Motion Sickness führen.

Wie ist euer Mindestabstand der Kamera zu den gefilmten Objekten?

Jérôme Lozano: 50 cm ist bei uns das Minimum, aber wir versuchen eher 1 Meter nahe dran zu sein. Wir haben auch mit Close-ups auf Hände bei den Musikern experimentiert, aber es hat leider nicht so gut funktioniert.

Was sollte man bei den einzelnen Cuts in einem VR180-3D-Video beachten?

Björn Sondermann: Wir versuchen zu vermeiden, zwischen den Szenen zu starke Verschiebung der Fokuspunkte zu haben. Das ist gerade im Bereich der Stereoskopie sehr wichtig. Außerdem versuchen wir, die interessanten Objekte ins Zentrum zu platzieren. Idealerweise sollte der ganze gefilmte Bereich durchgehend scharf aufgenommen werden.

Wir haben aktuell ein Projekt mit „Pearl Drums“. Da steht die High-End Performance von Musiker George Kollias im Fokus, der an einem riesigen Drumset spielt. Es gibt zahlreiche Perspektivwechsel, in denen man erst von vorn und danach direkt auf das Demon XR Fuß-Pedal des Drumsets im Abstand von 40 cm wechselt. Das Ganze ist atemberaubend durch die enorme Geschwindigkeit, die George erreicht. Dadurch lassen sich auch mal sehr viel schnellere Schnitte verwenden.

Jérôme Lozano: Longshots mit 15 Sekunden funktionieren sehr gut, weil sich die Leute entsprechend umschauen können. Wobei auch ein Wechsel bei 5 bis 6 Sekunden sehr spannend wirken kann. Dann sollte man jedoch darauf achten, dass der relevante Content sehr zentral im Blickfeld ist. Man muss damit rechnen, dass sich die Leute dann in der kurzen Zeit nicht umschauen können. Szenen mit nur 1 Sekunde machen keinen Sinn bei VR180-3D. Als jemand, der viel schneidet, ist es extrem spannend in diesem neuen VR-Bereich zu arbeiten, wo noch keine festen Regeln vordefiniert sind. Von den Übergängen her benutzen wir Hard Cuts, manchmal Fade-Out/In.

Wie sieht es bei euch mit dem Thema 360-3D aus?

Björn Sondermann: Videos in 360-3D funktioniert für uns nicht so gut, da man dem User kaum vermitteln kann, wo er überhaupt hinschauen soll. Man bräuchte Pfeile oder Ähnliches, um den User in eine Blickrichtung zu lenken. Praktisch funktioniert das nicht. Im Kino steht man auch nicht auf und schaut auf einmal nach links. Das funktioniert bei VR180 besser, wo sich das Relevante im Zentrum abspielt. Bei Drohnenbildern, Flügen über Städte wie Barcelona, da hat es bei 360° schon einen Mehrwert, wenn man in beliebige Richtungen schauen kann – aber nicht beim Storytelling. Bei 360°-3D gibt es aktuell keine gute 3D Kamera, die in allen Winkeln gut aufnimmt.

Wie sind eure Erfahrungen mit 6-DoF Video?

Jérôme Lozano: Bei unserem Video „Mängelexemplar“ haben wir mit LifeCastVR eine 6-DoF-Version erstellt. Die kann man sich bei LifeCastVR anschauen. Ich liebe diese Experience: Man kann sich im Video herumbewegen, was einen spielerischen Umgang mit dem Content ermöglicht. Trotzdem gibt es natürlich noch Fehler bei der künstlichen 3D-Bewegung, es ist noch nicht perfekt. Es vermittelt mehr den Retro-8-Bit-Aspekt, was zur Dekoration des Musikvideos sehr gut passt. Damit gibt es ein retro-futuristisches Gefühl und ein ziemlich einmaliges Erlebnis.

Gibt es noch ein VR Video Projekt, das ihr besonders hervorheben wollt?

Björn Sondermann:  Wir haben gerade mit spacevibes (SpaceVibes.org) eine Kooperation begonnen, um Videos auf der Apple Vision Pro zu präsentieren. Vision Pro ist für uns sehr interessant mit den Specs für Videos und vielleicht auch für kommende 6-DoF-Experimente. Wir sind auch hier weiterhin zukunftsorientiert und schauen uns nach neuen Plattformen um.

Super! Vielen Dank euch beiden für die spannenden Informationen und eure Erfahrungen! Ich freue mich schon auf eure nächsten Projekte!

So könnt ihr den Content von Björn und Jerome am besten anschauen

• immerGallery Direct Downloads (Meta Horizon Store, Steam Store) – Die Videos sind hier in der originalen Master-Qualität (z.B. 1,5 GB für 3 Minuten, 8K @ 60 fps).
• https://deovr.com/channel/we-are-vr-music
• https://creator.oculus.com/community/299871058192135/
• https://lifecastvr.com/mexhhh.html Mängelexemplar

Der Autor Daniel Pohl ist CEO und Gründer der Firma immerVR GmbH. Dort beschäftigt sich Daniel täglich mit den Neuerungen im Bereich immersiver Medien, meistens im Bereich von VR180 Stereofotos und Stereovideos. Mit seiner App immerGallery (Meta Horizon Store, Steam Store) kann man hochimmersive Fotogalerien, hinterlegt mit Voice-Overs und Hintergrundmusiken in verschiedenen VR-Formaten auf den Meta Quest Geräten erleben. Die App unterstützt auch Video-Wiedergabe für normales 2D / 3D, 180° und 360°.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.