Facebook Reality Labs: Experimente mit haptischen Handschuhen
In einer Blogreihe gibt Facebook Einblicke in die eigenen XR-Forschungslabore. In der zweiten Ausgabe geht es um haptische Handschuhe und die Frage, wie man haptische Latenz misst und wahrnimmt.
Auf der letztjährigen Entwicklerkonferenz Oculus Connect zeigte Facebooks XR-Forschungschef Michael Abrash ein kurzes Video. Es zeigt eine Frau, die mit dem Prototyp eines haptischen Handschuhs virtuelles Jenga spielt.
Der Facebook-Wissenschaftler Forrest Smith verrät in einem Blogeintrag mehr über das Forschungsprojekt.
___STEADY_PAYWALL___Er beginnt mit einem Problem, auf das die Wissenschaftler bei der Entwicklung des Prototyps stießen: Nutzer fühlten eine spürbare Verzögerung, wenn sie den virtuellen Jenga-Turm berührten.
Um dieses Problem zu lösen, mussten die Forscher zunächst messen, wie hoch die haptische Latenz ist, sprich: wie viel Zeit zwischen der virtuellen Berührung des Turms und der Aktivierung des haptischen Element im Handschuh verstreicht.
Hierfür brachten die Forscher einen physischen und einen virtuellen Tisch zur Deckung und maßen die Latenz mittels zweier Mikrofone.
Das erste Mikrofon registriert den Zeitpunkt des physischen Kontakts der Hand mit dem Tisch, das zweite Mikrofon ist im Handschuhe verbaut und registriert den Zeitpunkt der Aktivierung des haptischen Elements. Die Latenz konnte anschließend über die zeitliche Differenz berechnet werden.
So maßen die Facebook-Forscher die Latenz des haptischen Handschuhs. BILD: Facebook Reality Labs
Die betrug sehr hohe 300 Millisekunden. Die Forscher fanden später heraus, dass 200 Millisekunden Latenz auf die Nutzung einer Drittherstellersoftware zurückzuführen war. Durch Optimierung des Systems konnten sie das Problem beheben.
Eine erstaunliche Entdeckung
Das Team maß zwei weitere Latenzen, die ebenso wichtig sind für eine stimmige haptische Erfahrung: die visuelle und auditive Verzögerung zwischen dem Zeitpunkt einer Berührung des Tisches und deren Übertragung in Virtual Reality.
Dabei stellte sich heraus, dass jede der drei Kategorien eine recht abweichende eigene Latenz aufweist, wie in folgender Infografik zu sehen ist: Die haptische Latenz liegt unter 100 Millisekunden, während die auditive circa 140 Millisekunden mehr beträgt.
Die einzelnen Latenzwerte weichen teils stark voneinander ab. BILD: Facebook Reality Labs
Als die Forscher den Audiokanal testweise abschalteten, machten sie eine erstaunliche Entdeckung: Das haptische Feedback fühlte sich weitaus natürlicher an, gerade so als wäre ein großer Teil der Latenz eliminiert worden.
Die Erklärung der Wissenschaftler: Das Gehirn interpretiert Sitmuli unterschiedlicher Sinne als ein einheitliches Wahrnehmungsereignis. Tanzt eines der Stimuli zeitlich aus der Reihe, so hat man das Gefühl, dass die haptische Empfindung später eintrifft, als dies wirklich der Fall ist. Das passiert automatisch und unbewusst.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
VR-Forschung ist Wahrnehmungsforschung
Damit stellte sich für die Forscher eine gänzlich neue Frage: Wie wichtig ist die Synchronizität der unterschiedlichen Stimuli für die haptische Erfahrung? Um diese Frage zu beantworten, machten sie ein psychophysisches Experiment.
Zuerst testeten sie, wie groß der Latenzunterschied zwischen einem visuellen und einem haptischen Stimulus sein darf, dass Nutzer noch das Gefühl haben, sie würden gleichzeitig stattfinden. Die Forscher modifizierten dabei künstlich je nach Bedarf den Latenzwert.
Das Resultat: Die meisten Probanden empfanden die visuellen und haptischen Stimuli als synchron, wenn der haptische Stimulus nicht mehr als 50 Millisekunden nach dem visuellen folgte. Wenn der haptische Stimulus hingegen 20 Millisekunden vor dem visuellen Stimulus erfolgte, empfanden die Probanden die Ereignisse als asynchron.
In einem nächsten Experiment verglichen die Wissenschaftler alle drei Arten von Stimuli gleichzeitig. Dabei stießen sie auf folgende Regelmäßigkeiten:
- Die Probanden reagierten sehr empfindlich auf haptische oder auditive Stimuli, die vor visuellen Stimuli eintrafen.
- Die Probanden reagierten empfindlicher auf haptische als auditive Verzögerung.
Der Facebook-Wissenschaftler betont, dass diese Wahrnehmungsforschung erst am Anfang steht: So würde zum Beispiel die Art der Interaktion verändern, welche Asynchronizitäten als akzeptabel empfunden würden.
Das Ziel der Forscher ist, wissenschaftlich fundierte Richtlinien für überzeugende haptische Erfahrungen aufzustellen.
Den Artikel zum ersten Beitrag der Blogreihe der Facebook Reality Labs über Codec-Avatare steht hier.
Titelbild und Quelle: Facebook
Mehr erfahren über Forschung aus den Facebook Reality Labs:
- Haptische Handschuhe und Mixed Reality: Oculus zeigt neueste VR-Technologie
- Facebook Reality Labs scannt mit viel Aufwand reale Spiegel digital ein
- Virtual Reality: Facebook-Forscher zeigen Handtracking der nächsten Generation
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
