Forscher von Facebook haben eine KI entwickelt, die in Bild- und Videomaterial menschliche Körper in Echtzeit erkennen und neu texturieren kann. Die Forschung dürfte unter anderem der Augmented Reality zugute kommen.
Die Forscher wählten 50.000 Abbildungen von Menschen und markierten Körperteile wie Kopf, Torso, Arme und Beine sowie einzelne Körperpunkte, anhand derer ein Computerprogramm ableiten kann, in welchem Winkel und in welcher Haltung die Körper zur Kamera stehen. Die folgende Darstellung veranschaulicht das Verfahren:
Mit dem daraus entstandenen Datensatz wurde ein künstliches neuronales Netz trainiert, bis es in Bildern und Videos Körper und Posen erkennen konnte - in Echtzeit und ohne 3D-Sensor.
In einem zweiten Schritt können Texturen ins Programm geladen werden, um Menschen wie Avatare in einem Videospiel mit neuen "Skins" auszustatten. So könnte die KI Fußballspieler wechselnde Trikots überziehen oder sie ganz einfach nackt über den Rasen rennen lassen.
Apropos nackt: Die im Internet kursierenden Deepfakes, in denen die Gesichter von Pornodarstellerinnen durch die bekannter Schauspielerinnen ersetzt wurden, funktionieren nach einem ähnlichen Prinzip. Der Hauptunterschied ist, dass Facebooks KI statt Gesichter ganze Körper austauschen kann.
KI-gestützte Objekterkennung für Augmented Reality
Ein Youtube-Video der Forscher zeigt, dass das neuronale Netz selbst von großen Menschenansammlungen und komplexen Bewegungsmustern nicht aus dem Tritt gebracht wird. Solche Szenen brauchen allerdings viel Rechenleistung: Mit einer GTX 1080 werden ähnliche Videos bei einer Auflösung von 240 mal 320 Bildpunkten mit durchschnittlich 20 bis 26 Bildern pro Sekunde analysiert.
Als mögliche Anwendungsszenarien nennen die Forscher unter anderem Augmented Reality. RGB-Kameras könnten mittels visuell trainierter KI-Systeme Menschen oder einzelne Körperteile besser oder schneller erkennen und kontextualisieren und in Zukunft vielleicht sogar ein räumliches Verständnis von Objekten entwickeln.
Die wissenschaftliche Publikation der KI-Forscher steht hier. Mehr Informationen gibt es auf der offiziellen Internetseite des Forschungsprojekts.
