Augmented Reality und KI-gestützte Objekterkennung gehen Hand in Hand. Ein Entwickler zeigt, was jetzt schon möglich ist.
Der freischaffende VR- und AR-Entwickler Ben Ferns programmiert eine ungewöhnliche Augmented-Reality-App fürs Smartphone: Sie nutzt ein auf Objekterkennung optimiertes künstliches neuronales Netz, das reale Objekte identifizieren kann, beispielsweise einen Stuhl oder eine Banane.
Anschließend gleicht die App das erkannte Objekt mit Googles Poly-Datenbank für 3D-Objekte ab. Dort sucht sie anhand der Schlagwörter ein passendes digitales Duplikat heraus und platziert es am gleichen Ort - direkt neben oder auf das reale Objekt. Den Blumentopf gibt es dann doppelt, von zwei Bananen kann man nur eine essen und wenn man sich auf den falschen Stuhl setzt, tut danach der Hintern weh.
A first experiment in AI-enhanced AR - it can automatically recognize common objects via a neural-net and attempt to clone them in-situ from an online library of 3D models #madewithblocks #madewithunity pic.twitter.com/nhbwRDUiYZ
— Ben Ferns (@ben_ferns) 9. Februar 2018
Googles Poly-Datenbank nutzt ebenfalls Künstliche Intelligenz, um die 3D-Objekte anhand ihres Vorschaubilds zu verschlagworten. Das führt zu einer ungewöhnlichen Konstellation: Ferns KI scannt ein reales Objekt, um daraus ein Schlagwort zu generieren, das dann mit dem Schlagwort der Google-KI abgeglichen wird, das wiederum auf Basis eines Fotos des digitalen Objekts erstellt wurde.
Diese KI-Kollaboration scheint recht verlässlich zu arbeiten, zu Aussetzern kommt es dennoch ab und an. Zum Beispiel, wenn Ferns Künstliche Intelligenz eine Weinflasche fälschlicherweise als Raktenwerfer identifiziert ...
This explains some of the more unusual outputs that happen! pic.twitter.com/tRb4wOwveQ
— Ben Ferns (@ben_ferns) 9. Februar 2018
Counterfeit Reality: "You wouldn't download a car.." Using machine-learning to clone an object in AR. A bit of randomisation in the 3D library search gives more variety. #MadeWithBlocks #MadeWithUnity #AI pic.twitter.com/0u67wrXNfh
— Ben Ferns (@ben_ferns) 14. Februar 2018
AnzeigeCommunity beitretenKommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!AnzeigeCommunity beitretenKommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
