Supergehör und Audio-Teleporter: Facebook zeigt neueste Forschung
Facebook stellt Fortschritte in Audiotechnologie vor, die das menschliche Gehör auf die nächste Stufe heben und an jeden Ort der Welt teleportieren soll.
Facebooks Audioforscher haben zwei Ziele: ein virtuelles Audioerlebnis erschaffen, das von der Realität nicht zu unterscheiden ist und das menschliche Hörvermögen erweitern. Ersteres soll Audiopräsenz ermöglichen, also das Gefühl, an einem vollkommen anderen Ort zu sein. Letzteres soll Menschen "perzeptuelle Superkräfte" verleihen. Dazu später mehr.
Um Audiopräsenz zu erreichen, entwickelte das Forschungsteam um Ravish Mehra spezielle Audioverarbeitungsalgorithmen sowie einen prototypischen Kopfhörer, der mit Mikrofonen und vor den Ohren schwebenden Minilautsprechern ähnlich Valve Index (Test) ausgestattet ist.
___STEADY_PAYWALL___Eine Testperson des Forschungslabors durfte sich den Kopfhörer aufsetzen, der daraufhin zwei Minuten lang Umgebungsgeräusche aufnahm. Danach spielte Facebook die Aufnahmen ab. Laut der Testperson war die Audiowiedergabe praktisch nicht zu unterscheiden von der zuvor vernommenen realen Geräuschkulisse.
Personalisierte Hörprofile
Als Nächstes wurde die Testperson in eine Absorberkammer geführt. Hier gaben während einer halben Stunde 54 rotierende Lautsprecher Töne von sich, während Facebook-Forscher maßen, wie die Klänge auf die individuelle Ohrform der Testperson reagieren.
Das Ergebnis ist ein digitaler Abdruck des persönlichen Hörens, in der Fachsprache HRTF ("Head-Related Transfer Function") genannt, der, durch Kopfhörer simuliert, ein extrem realistisches Audioerlebnis ermöglicht. Herkömmliche Audiolösungen nutzen einen Durchschnitts-HRTF, der die Audiowiedergabe je nach Ohrform stark beeinträchtigt und unnatürlich wirken lässt.
Die Forscher hoffen, dass sie dereinst in der Lage sein werden, individuelle HRTFs auf einfachere Weise zu erstellen, etwa mittels eines Algorithmus, der den persönlichen HRTF auf Basis einer Fotografie der Ohren ableitet.
Auf diesem Foto sieht man recht gut den Kopfhörerprototyp und die AR-Brille mit Mikrofonen, die lediglich Platzhalter sind. | Bild: Facebook
Simulation von Raumakustik
Das persönliche, auf der eigenen Ohrform beruhende, Hören ist nur ein von zwei Puzzleteilen für Audiopräsenz. Das andere ist eine möglichst realistische Nachahmung der Raumakustik.
Für die nächste Demo setzte sich die Testperson erneut den Kopfhörerprototyp auf. Um die Testperson herum waren herkömmliche Lautsprecher angeordnet. Während der Demo musste die Testperson sagen, ob Geräusche von den Kopfhörern oder den Lautsprechern kommen. Dabei lag sie nur in etwa 50 Prozent der Fälle richtig, so realistisch wirkte das 3D-Audio und die simulierte Raumakustik.
In einer weiteren Demo wurde der Testperson eine Kombination aus Video- und Audiopräsenz vorgeführt. Hierfür trug sie eine modifizierte Oculus Rift und die Spezialkopfhörer.
Durch die VR-Brille gesehen, saß die Testperson an einem Tisch mit Facebook-Forschern, die sich in einem anderen Raum befanden. Eine Vorrichtung mit 32 Mikrofonen nahm die Geräusche in jenem Raum auf und übertrug sie in die Kopfhörer. Das 3D-Audio soll so echt gewirkt haben, dass die Testperson das Gefühl hatte, im gleichen Raum zu sitzen und genau ausmachen konnte, aus welcher Richtung einzelne Personen sprachen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
AR-Brille mit automatischem Audiofilter
Das zweite große Ziel neben Audiopräsenz ist die Erweiterung des menschlichen Hörvermögens. Die hierfür entwickelte Technologie soll dereinst in AR-Brillen Marke Facebook Eingang finden.
Die Wissenschaftler stellen sich ein Gerät vor, das mit mehreren Mikrofonen ausgestattet ist. Kopf- und Augenbewegungen werden von Sensoren erfasst, sodass die AR-Brille herleiten kann, auf was man sich in der Umgebung fokussiert. Das Gerät soll daraufhin die Geräuschquelle, auf die man sich konzentriert, automatisch verstärken und dabei zugleich das Umgebungsrauschen reduzieren. So die Vision der Forscher.
Facebook wollte die Anfänge dieser Technologie demonstrieren und führte die Testperson in einen Raum, der eine laute Restaurantumgebung simulieren soll. Mit im Raum war ein Facebook-Forscher. Die Testperson setzte sich die Kopfhörer und ein Eyetracking-System auf. Die Forscher erhöhten daraufhin den künstlichen Lärmpegel.
Die Testperson konnte sich dank der Audiotechnologie mit dem Forscher weiter normal unterhalten, weil die lauten Nebengeräusche herausgefiltert wurden. Ein kurzer Blick auf den Fernseher verstärkte die Geräusche, die von der Mattscheibe ausgingen. Als sie sich wieder dem Forscher zuwandte, hörte sie diesen wieder klar und deutlich.
Facebook arbeitet an einem In-Ear-Kopfhörer, der perfektes Noise-Cancelling ermöglichen soll. | Bild: Facebook
Daten fließen in Facebooks AR-Cloud
In der nächsten Audiodemo wurde die Testperson von einem Forscher aus einem anderen Raum angerufen. Der Forscher trug eine Brille mit integrierten Mikrofonen und war von zwei lärmenden Lautsprechern umgeben. Dank Facebooks aktivem Noise-Cancelling hörte die Testperson den Forscher einwandfrei.
Die Technologie könnte eines Tages sprachliche Interaktion mit KI-Assistenten in lauten Umgebungen ermöglichen. Das hätte den zusätzlichen Vorteil, dass andere nicht mithören können.
Das wiederum funktionierte nur durch raffinierte Datenschutzmechanismen. Schließlich wäre es mit der beschriebenen Technologie möglich, Menschen in Cafés, Restaurants und auf der Straße perfekt auszuspionieren. Facebook nennt als eine von vielen möglichen Lösungen ein Sicherheitsprotokoll, über das Brillenträger anderen Nutzern zuerst die Erlaubnis zum Mithören erteilen müssen.
Die von solchen AR-Brillen aufgezeichneten Geräusche sollen Facebooks AR-Cloud-Projekt LiveMaps mit auditiven Kontexten füttern, sodass das System zum Beispiel erkennt, ob man ein Restaurant betritt und Umgebungsgeräusche automatisch herausfiltert.
Quelle und Titelbild: Facebook
Weiterlesen über Facebooks XR-Forschung:
- Facebook: “Wir bestimmen, wann VR 2.0 startet”
- Facebooks bestmögliche AR-Brille ist noch viele Jahre in Entwicklung
- Facebook-Forschung: Sprunghafter Anstieg bei XR-Patenten
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
