Google Lens verrichtet hervorragende Arbeit in der physischen Welt. Weshalb sollte sie das nicht auch in der Virtual Reality tun?

Mit Google Lens erkennt die Smartphone-Kamera Objekte und zeigt automatisch eine passende Suchanfrage an, sodass man prompt nützliche Informationen zum betreffenden Motiv erhält. Das funktioniert mit Bauwerken, Hunderassen, Kunstwerken und vielem mehr: Rund eine Milliarde Objekte soll die KI-gestützte App bereits identifizieren können.

2019 erhielt Google Lens neue Funktionen: So erkennt die App Texte aus der physischen Welt und extrahiert sie automatisch, sodass sie digital geteilt werden können.

Besonders beeindruckend ist die neue, visuelle Echtzeitübersetzung, die fremdsprachige Texte auf Objekten durch Text in der gewünschten Zielsprache ersetzt. Zum Beispiel auf Zugtickets, wie im folgenden Video ganz rechts zu sehen ist.

Wie in RR so in VR

Der VR-Entwickler und Twitter-Nutzer Phasedragon wollte diese Funktion in Virtual Reality nutzen und implementierte sie kurzerhand selbst, wie in einem bei Twitter veröffentlichten Video zu sehen ist.

Im Video hält sich Phasedragon innerhalb eines virtuellen koreanischen Bahnhofs auf. Mit dem Programm Sparkocam filmte der Entwickler in VR und exportierte den Kamerafeed für Google Lens, während das Programm selbst mit Hilfe von Android Studio lief.

Das Experiment gelang: Google Lens macht keinen Unterschied zwischen real und digital und übersetzt Text in der Virtual Reality vom Koreanischen ins Englische. Phasedragon experimentierte davor mit Microsoft Translate, war mit dem Resultat aber nicht sonderlich zufrieden.

Titelbild: Phasedragon, Quelle: 9to5Google, Via: Road to VR

Weiterlesen zum Thema Google-Technologie:


MIXEDCAST #160: Ubsioft-VR, Kuro AR-Brille und Deepfake-App Zao | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.