Stereo VR180 ist der Standard für immersive Medien: Doch was ist mit VR150 und VR135?
Für immersive Medien wird seit mehreren Jahren das VR180-3D-Format benutzt. In diesem Artikel beleuchte ich neue Patentanmeldungen von Stereo-Objektiven von Canon mit anderem Blickfeld und deren potenzielle Auswirkung auf immersive Medien für Virtual Reality.
Von Daniel Pohl
Im Format VR180-3D wird pro Auge die Umgebung in einer Halbkugel (180°× 180°) aufgenommen. In Virtual Reality eignet sich dieses Format für hohe Immersion, da durch das Kopftracking bei gleichzeitiger stereoskopischer Sicht die Abbildung sehr nahe an dem Erleben einer realen Szene ist. Doch warum eigentlich genau 180 Grad?
Inhalt
VR180 – Worum geht es?
Ohne Virtual Reality macht stereoskopisches VR180 kaum Sinn. In VR dagegen blüht das Format perfekt auf, um sowohl eine 3D-Sicht zu liefern als auch genügend Blickwinkel zu haben, um mit den getrackten Kopfbewegungen andere Bildbereiche zu sehen. Entsprechend kamen mit dem Auftauchen immer besserer VR-Brillen im Zeitraum 2017 und 2018 die ersten VR180-Kameras auf den Markt, wie Lucidcam, Z-Cam K1 Pro und die Lenovo Mirage Camera.
Die Bilder bei VR180 werden ohne jegliches Stitching aufgenommen, wie das etwa bei 360°-Kameras der Fall ist. Damit vermeidet man jegliche Stitching-Artefakte und Ungleichheiten wie unterschiedliche Beleuchtungen der einzelnen Bilder oder Probleme mit dynamischen Objekten, wie es bei 360-Grad Drohnenaufnahmen passieren kann.
Die mit runden Fischaugen-Linsen aufgenommenen Bilder von VR180-Kameras werden normalerweise im herstellerunabhängigen equirektangularen Format gespeichert oder über Tools im Nachgang konvertiert. Das ist vergleichbar mit der Übertragung eines runden Globus in ein rechteckiges Format.
VR180-Foto mit Canon EOS R5, 5.2mm Dual Fisheye. Oben: Bild im Fischaugen-Format (links/rechts objektivbedingt vertauscht). Unten: Bild im equirektangularen Format. | Bild: Daniel Pohl
Eine Hälfte des equirektangularen 180-Grad-3D-Fotos ist ein Quadrat, das exakt die Halbkugel 180°×180° abbildet. Entsprechend bietet es sich also an, wenn möglich, auch die gesamten 180-Grad mit Inhalt zu füllen, um schwarze Ränder in dem Format zu vermeiden und genug Kopfbewegungen in VR zuzulassen.
Aber warum nicht 190° oder 200°? Könnte man machen und wurde auch gemacht. Die Z-Cam K2Pro bietet eine Variante mit 200°-Fischaugen-Objektiven an, die also auch etwas in den Bereich hinter der Kamera blicken können. Allerdings wird beim Blick auf die Ränder bereits bei 180° zwangsweise die benachbarte Linse der Stereo-Kamera auf jeweils einem Auge sichtbar sein.
Gerade bei der 3D-Wahrnehmung ist es extrem störend und kann zu Eye Strain und Motion Sickness führen, wenn das linke und rechte Auge sehr unterschiedliche und unrealistische Informationen erhalten. Bei den großen Linsen des VR180 Canon 5.2mm Dual Fisheyes Objektivs schneiden moderne VR-Bildbetrachter wie immerGallery bei Fotos dieser Kamera links und rechts so viel vom Rand ab, dass dieser Konflikt zwischen den Augen nicht mehr auftritt.
Close-Up auf die benachbarte Linse im Canon 5.2mm Objektiv. | Bild: Daniel Pohl
Daher ist der Mehrwert von Objektiven mit mehr als 180° für die Virtual Reality nicht unbedingt gegeben. Wer die obigen Bilder im Fisheye-Format mit der equirektangularen Version vergleicht, stellt fest, dass das ursprüngliche Fisheye-Bild mehr Inhalt zeigt. Das Objektiv an sich kann eigentlich fast 190° aufnehmen. Aber gerade wegen der angrenzenden Linsen im Bild und auch weil die Fisheye-Qualität zum Rand hin durch chromatische Aberrationen abnimmt, bringt es keinen Mehrwert, diese zusätzlichen Pixel in VR darzustellen. Außerdem nimmt der 3D-Effekt an den Rändern ohnehin ab.
Warum 180° vielleicht aktuell zu viel ist
So schön es auch ist, den Kopf in der Virtual Reality bis zu einem gewissen Grad bewegen zu können, es gibt auch einige Schwierigkeiten. Um 180°× 180° mit detaillierten Bilddaten zu füllen, sind sehr hohe Auflösungen erforderlich. Die erste Welle von VR180-Kameras im Jahr 2018 bot etwa 6000 Pixel in der Horizontalen und 3000 Pixel in der Vertikalen. In einem Headset wie der Meta Quest 3 sieht das stereoskopisch beeindruckend, aber leider relativ unscharf aus. Bei 8K-Fotoauflösungen, wie sie die Canon EOS R5 mit 5,2 mm Objektiv bietet, wird das Bild deutlich schärfer als bisher.
Aber selbst die 8K-VR180-Fotos, die mit dieser Konfiguration aufgenommen wurden, sind nicht so scharf, wie es eine Quest 3 heute darstellen könnte. Als Vergleichsbilder können beispielsweise hochauflösende 360-Grad-Aufnahmen von Drohnen dienen, die durch die Aufnahme mehrerer hochauflösender Einzelbilder zusammen ein Bild mit mehreren hundert Megapixeln ergeben. Diese Bilder würde man nicht direkt in dieser Auflösung in das Headset laden, sondern wieder auf eine Auflösung herunterskalieren, die von der Pixelzahl her den Fotos in 8K-VR180 ähnelt. Allerdings wirken die herunterskalierten Bilder deutlich detailreicher und schärfer – auch bei gleicher Pixelzahl pro Grad Sichtfeld.
Woran liegt das? Zum einen sieht man schon am Fischaugenbild oben, dass nicht alle Pixel des Kamerasensors der EOS R5 (45 Megapixel) genutzt werden, da das Bild von zwei runden Fischaugen in den eckigen Kamerasensor passen muss. Das Fisheye-Bild weist prinzipbedingt bereits einige Verzerrungen auf. Bei der Konvertierung in das equirektangulare Format müssen Pixel interpoliert werden, was ebenfalls eine gewisse Unschärfe mit sich bringt, da die Pixel nicht mehr exakt nach ihrem abgetasteten Muster verwendet werden. Auch im finalen equirektangularen Format gibt es wieder gewisse Verzerrungen. Eine (Halb-)Kugel kann nicht verzerrungsfrei in einem Rechteck dargestellt werden.
Warum sieht das Drohnenbild herunterskaliert so viel schärfer aus? Wenn gute Bildalgorithmen verwendet werden, bleibt beim Herunterskalieren viel Information in den Subpixeln erhalten - quasi ein sehr gutes Antialiasing oder Supersampling, wenn man es vom Rendering aus betrachtet. Das führt zu einem höheren Schärfeeindruck.
VR180 ist nicht scharf genug? Was nun?
Wenn also selbst eine VR-Kamera mit einem professionellen Kameragehäuse mit 8K und einem L-Objektiv für VR180 nicht scharf genug ist, was bleibt dann noch? Die Auflösung der Sensoren in den Kameragehäusen zu erhöhen, wäre ein weiterer Schritt. Allerdings würde das die Produkte noch teurer machen. 10K horizontal kann man sich im Fotobereich vielleicht noch vorstellen. Aber dass eine solche Kamera auch 10K Video aufnehmen kann, am besten mit 60 fps oder mehr, erscheint mir zumindest im Jahr 2024 noch nicht ohne immense Kosten möglich zu sein.
Tatsächlich will man die Erstellung immersiver 3D-Medien auch auf Kameras mit weniger als 45 Megapixeln noch günstiger anbieten. So hat Canon bereits Prototypen eines neuen Dual-Fisheye-Objektivs gezeigt, das für Kameragehäuse mit den kostengünstigeren APS-C-Sensoren anstelle von Full-Frame-Sensoren ausgestattet ist. Die derzeit höchste Auflösung der APS-C-Kameragehäuse bietet allerdings die EOS R7 mit 32 Megapixeln, also weniger als die 45 Megapixel des Vollformat-Kameragehäuses EOS R5. Entsprechende VR180 Fotos mit einer horizontalen Auflösung von rund 7K sollten für Privatanwender gut genug sein. Dennoch wird ein Schärfeverlust gegenüber den Aufnahmen der R5 erkennbar sein. Was nun?
Eine Dimension, die bei den Kameras für immersive Medien bislang nicht in Betracht gezogen wurde, ist 180° × 180°. Natürlich will man deutlich über dem Erlebnis eines 3D-Kinos oder der alten 3D-Kameras für „normales 3D“ (ca. 70° Sichtfeld) bleiben und weiterhin eine Kopfbewegung in VR für die Immersion ermöglichen. Es ist aber vorstellbar, dass eine gewisse Verkleinerung des Sichtfeldes akzeptabel ist. Dies würde bedeuten, dass weniger Umgebung auf dem gleichen Sensor abgebildet wird, was zu einer schärferen Aufnahme für unsere VR-Fotos führt.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
VR150? VR135?
Auf der wissenschaftlichen Konferenz IEEE VR 2024 zeigte ein Forschungsprojekt von immerVR mit der Universität Würzburg die Kopplung von zwei Smartphones zu einer VR123-Kamera, die also 123° Field of View stereoskopisch abbildet. Damit sollte auch den Smartphone-Herstellern gezeigt werden, dass es mit modernen Smartphones relativ einfach möglich ist, nicht nur 3D-Fotos und 3D-Videos mit kleinem Blickwinkel wie mit dem iPhone 15 Pro aufzunehmen.
Vielmehr können durch die Verwendung von Ultraweitwinkelobjektiven, im Idealfall zwei identische auf demselben Smartphone im menschlichen Augenabstand, bereits immersive Medien erzeugt werden, die eine gewisse Kopfdrehung in VR ermöglichen. In diesem Projekt waren es aufgrund einiger Einschränkungen der Kameraschnittstellen 123 Grad. Allerdings gibt es bereits Smartphones, wie das realme GT2 Pro, das eine 150-Grad-Ultraweitwinkelkamera integriert hat. Es wird spannend sein zu sehen, ob in Zukunft noch mehr in dieser Richtung passieren wird.
![[paper.jpg] Forschungsarbeit mit zwei Smartphones zum Erzeugen von VR123 bzw. VR150-Medien.](https://mixed.de/wp-content/uploads/2024/05/paper-860x249.jpg)
Forschungsarbeit mit zwei Smartphones zum Erzeugen von VR123 bzw. VR150-Medien. | Bild: Scheuerpflug et al.
In der Zwischenzeit hat Canon zwei neue, sehr bemerkenswerte Patentanmeldungen eingereicht. Dabei ist natürlich zu beachten, dass eine Patentanmeldung keine Garantie für ein erscheinendes Produkt ist und es sich lediglich um experimentelle Designs handeln könnte. Im Detail berichtet die Webseite Canonrumors von Patentanmeldungen für Objektive, die dort inoffiziell als Canon RF-S 3.2mm F2.8 Dual Fisheye und Canon RF-S 3.8mm F3.5 Dual Fisheye bezeichnet werden.
Diese sind für den APS-C-Sensor. Beschrieben wird der halbe Bildwinkel, der bei beiden Objektiven 79,1° bzw. 72° beträgt. Verdoppelt ergibt das ungefähr 158° und 144°. Die Nachbarlinse ist hier im Gegensatz zu VR180 natürlich kein Problem mehr. Da man aber schon im Fischaugenbild oben die optischen Unzulänglichkeiten des Objektivs an den Rändern sieht, gehe ich auch hier davon aus, dass man die extremeren Außenbereiche nicht nutzen wird. Somit könnten die beiden Stereoobjektive tatsächlich den Bildinhalt von VR150 und VR135 in der umgewandelten, gleichwinkligen Version liefern.
Was bedeutet das für Content Creator von immersiven Medien? Mit dem kleineren Field of View verschwinden Anfängerfehler, bei denen die eigenen Füße oder Finger im Bild sind, wie es wohl allen Fotografen mit 180°×180° schon passiert ist. Auch die Verwendung eines Stativs wird einfacher. Bei VR180 waren ohne eine längere Schiene am Stativ die Stativbeine immer im Bild.
Die höhere Schärfe wird es ermöglichen, das Hauptobjekt, beispielsweise eine Person in der Mitte des Bildes, noch schärfer abzubilden, als es mit VR180 möglich war. Was nicht mehr so gut funktionieren wird, ist, sich nahe vor ein großes Gebäude zu stellen und eine Aufnahme zu erzeugen, bei der der Betrachter richtig nach oben schauen muss, mit Nackenbewegungen, um alles zu sehen. Hier wird die vertikale Einschränkung von etwa 135° zu schnell greifen. Es gäbe also immer noch Gründe sowohl für volle 180° als auch für kleinere Varianten davon.
Wie sieht VR150 und VR135 aus?
Wie groß wäre die Einschränkung des Sichtfeldes bei 150° oder 135° im Vergleich zum normalen VR180? Ich habe das für euch simuliert und die Bilddaten von zwei originalen Canon VR180 EOS R5 5.2mm Fotos genommen, um die Bildausschnitte bei 150° und 135° zu vergleichen. Das ist hier nur für den Bildfeldeindruck relevant, nicht für die Schärfe, da alle Bilder aus dem gleichen, originalen VR180 Foto in 8K generiert wurden. Da das equirektangulare Format, wie bereits erwähnt, Verzerrungen aufweist, kann der hier im Artikel gezeigte Eindruck in 2D von dem in VR abweichen. 2
Deshalb habe ich die Vergleichsfotos von VR180, VR150 und VR135 als .zip-Datei zum Download bereitgestellt, damit ihr sie euch selbst in VR anschauen könnt. Am einfachsten geht das über die App immerGallery, wo ihr die Bilder unter immervr://vr150 herunterladen könnt. Dazu geht ihr in der App auf Download, Custom URL, Drop-Down auf immervr:// stellen und dann einfach vr150 eingeben.
Ein VR180-3D Bild, bei dem das Hauptobjekt mittig im Foto liegt. Von oben nach unten: 180°,150°, 135°. | Bild: Daniel Pohl
Ein VR180-3D Bild, bei dem man nahe vor einem hohen Objekt steht. Von oben nach unten: 180°, 150°, 135°. | Bild: Daniel PohlMein subjektiver Eindruck beim Betrachten von VR180, VR150 und VR135 mit dem VR-Headset ist, dass die Einschränkung auf 150° relativ gut zu verkraften ist, wenn man dafür einen Zugewinn an Schärfe erhält. Bei 135° wird zwar immer noch das gesamte Sichtfeld ausgefüllt, aber man wird schon bei kleinen Kopfbewegungen daran erinnert, dass man nur auf ein Bild schaut und sich nicht wirklich in der gezeigten Welt befindet. Vom ersten Eindruck her würde ich daher die 150°-Variante bevorzugen.
Zusammenfassung
Immersive Medien können eindrucksvolle VR-Erlebnisse vermitteln. Allerdings mangelt es VR180 noch an der dafür notwendigen Schärfe des erzeugten Contents, selbst mit professionelleren Kamera-Setups im Bereich von 5000 Euro. Darüber hinaus wäre es für den VR-Markt hilfreich, wenn die Erstellung von scharfem und immersivem 3D-Content kostengünstiger möglich wäre.
Ein neuer Weg könnte hier die leichte Einschränkung des Field of Views von 3D-Kameraobjektiven sein. Allerdings nur so weit, dass eine gewisse Kopfbewegung für eine höhere Immersion noch möglich ist und die Peripherie des Sichtfeldes vollständig mit Bilddaten gefüllt wird. Das könnte ein vernünftiger Kompromiss sein, um die höhere Bildschärfe in VR zu erreichen. Auch bei Headsets mit höherer Auflösung als Quest 3, wie etwa Apple Vision Pro, wird dies früher oder später von VR-Nutzern erwartet.
Gerüchten zufolge wird Canon in der Woche vom 13. Mai 2024 eine größere Vorstellung neuer Produkte veranstalten. Wir sind gespannt und hoffen auf weitere Produkte im Bereich 3D und VR. Vielleicht gibt es auch endlich Neuigkeiten im Bereich der klappbaren Consumer-Kamera für VR180 / und 360°-2D.
Der Autor Daniel Pohl ist CEO und Gründer der Firma immerVR GmbH. Dort beschäftigt sich Daniel täglich mit den Neuerungen im Bereich immersiver Medien, meistens im Bereich der VR180 Stereofotografie. Mit seiner App immerGallery kann man hochimmersive Fotogalerien, hinterlegt mit Voice-Overs und Hintergrundmusiken in verschiedenen VR-Formaten auf den Meta Quest Geräten erleben – auch zusammen mit Freunden im Multiplayer.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
