Microsoft und chinesische Forscher stellen eine neue Deepfake-KI vor, die ihr gesehen haben müsst.
Die neue Deepfake-KI FaceShifter entstand aus einer Kooperation der Pekinger Universität und Microsoft. Sie übertrifft in puncto Qualität selbst den Deepfake-Durchbruch FSGAN, der letztes Jahr israelischen Forschern gelang – und von dem man seitdem nichts mehr hörte.
FaceShifter: Sebst Unscharfe Aufnahmen werden zu glaubwürdigen Deepfakes
Die Forscher setzen bei FaceShifter auf zwei Netzwerke: Eines erstellt das gefälschte Gesicht und übernimmt für die Fälschung Kopfhaltung, Gesichtsausdruck, Beleuchtung, Farbe, Hintergrund und andere Attribute des Originalfotos.
Das zweite Netzwerk HEAR-Net vergleicht das vom ersten Netzwerk generierte Foto mit dem Originalfoto. Findet HEAR-Net etwa durch Haare, Sonnenbrille oder einen Schriftzug verdeckte Gesichtspartien, verbessert sie mögliche Fehler des ersten Netzwerks. Heißt: Gesichter verschwinden wieder hinter Haaren, ein Schriftzug lässt sich entziffern und Makeup sitzt, wo es hingehört.
HEAR-Net erkennt Verdeckungen in Gesichtern durch Haare, Masken oder Schriftzüge und perfektioniert so die Fälschung. Bild: Li et al.
FaceShifter erreicht mit der Kombination aus erstklassigem Gesichtskopierer und dem Verdeckungsspezialisten HEAR-Net Deepfakes in einer neuen Qualität. Selbst unscharfe Aufnahmen verarbeitet die KI zu glaubwürdigen Fakes.
FaceShifter (ganz rechts) kann sogar unscharfe Originalbilder zu glauwürdigen Fakes verarbeiten und hängt so den bislang mächtigste Deepfake-Algo FSGAN (zweites von rechts) ab. Bild: Li et al.
Trainiert wurde FaceShifter mit den Porträfoto-Datensätzen CelebA-HQ, FFHQ und VGGFace auf vier Nvidia P40 GPUs. Für das Training von HEAR-Net versahen die Forscher die Fotos zusätzlich mit Objekten wie Smartphones oder Händen, die das eigentliche Motiv verdeckten. So lernte die KI, das Gesicht sowie das verdeckende Objekt auseinanderzuhalten – und die Verdeckung in der Fälschung mit einzubauen. FaceShifter kann auf jedes Gesicht ohne neues Training angewandt werden.
Deepfake-Detektor Face X-Ray
Deepfakes werden also immer besser – wie lassen sie sich überhaupt noch von Originalaufnahmen unterscheiden? Die FaceShifter-Erfinder haben darauf eine eigene Antwort: Face X-Ray. Der Deepfake-Detektor soll helfen, Original und Fälschung auseinanderzuhalten.
Die Forscher setzen auf eine Art Röntgenblick für Gesichter. Face X-Ray betrachtet Porträtfotos durch verschiedene Filter und deckt so auf, ob es in einem Foto Anzeichen einer Vermischung zweier Quellen gibt.
Oben das Original, unten der Fake. Der Deepfake ist durch die Filter deutlich zu erkennen. Bild: Li et al.
Das funktioniert, da alle aktuellen Deepfake-Methoden die veränderten Gesichter in bestehende Hintergründe überlagern. Jedes Foto hat jedoch eigene Merkmale, die durch verschiedene Kameras oder Kompressionsalgorithmen entstehen.
Finden sich in einem Foto unterschiedliche Rahmendaten, kann Face X-Ray sie erkennen und markieren.
Bisherige Methoden versuchen, Fehler im manipulierten Gesicht zu finden. Face X-Ray sucht dagegen nach Hinweisen auf die Einbindung des gefälschten Gesichts in einen neuen Hintergrund. Bild: Li et al.
Diese Methode erfordert kein spezifisches Training für sich ständig ändernde Manipulationsmethoden, solange die Fotos gemischt werden.
Bei völlig synthetischen Fotos wie den Porträtfotos der Webseite „thispersondoesnotexist.com“ funktioniert die Methode nicht, denn dort gibt es für Face X-Ray nichts zu finden: Das Foto ist komplett generiert, es existiert daher kein Unterschied bei verwendeter Hardware oder den Kompressionsalgorithmen.
Titelbild: Li et al., Quellen: Arxiv (FaceShifter), Arxiv (Face X-Ray)
Login mit Steady