Aus Pixelbrei wird dank Deep Learning mit vergleichsweise geringem Aufwand HD-Grafik.
Die Modifikation “Enhanced Textures” für den Rollenspielklassiker Morrowind rechnet die ursprünglichen Texturen des Spiels mit einem neuronalen Netz auf die vierfache Auflösung hoch.
Das KI-Verfahren ist im Kern das gleiche, das auch die Videofälscher-KI Deepfakes und andere Bildmanipulationen ermöglicht: Ein auf Skalierung optimiertes GAN-Netzwerk (ESRGAN) halluziniert zur Textur passende Details und steigert so die Auflösung durch zusätzliche Informationen.
Die niedrig aufgelösten Texturen werden durch ein vortrainiertes neuronales Netz durch zusätzliche Details aufgewertet.
Eine Generator-KI erstellt einen Texturvorschlag, eine Diskriminator-KI prüft diesen auf Glaubwürdigkeit. Mit jedem neuen Versuch nähert sich die Generator-KI der Zielvorgabe der Diskriminator-KI. Vortrainiert wurde das ESRGAN-Netz mit hochauflösenden Fotos und deren bikubisch herabskalierter Form.
Das Ergebnis ist eine zur Spielewelt passende HD-Grafik, die im Vergleich zur händischen Nachbearbeitung einzelner Texturen in Photoshop ohne großen Aufwand erzielt wird und dem Originalstil entspricht.
Der Code für das neuronale Netzwerk ist kostenlos verfügbar. Eine Anleitung steht hier.
Die KI-Skalierung bietet im Vergleich zur herkömmlichen HD-Nachbearbeitung ein besseres Zeit-Nutzen-Verhältnis und verändert den Stil nicht.
Mit einem ähnlichen Verfahren polierte ein Fan die Texturen des Ballerklassikers “Doom” auf. Die Sprites müssen zum Teil händisch nachbearbeitet werden, dennoch wird der Aufwand durch die KI-Skalierung insgesamt deutlich reduziert.
Doom KI-Edition: Aus Pixelbrei wird hochaufgelöster Pixelbrei.
https://t.co/2l1UTgjIR3 This Doom sprite + texture mod uses neural network upsampling and succeeds where so many “hi res texture pack” mods have failed, because it doesn’t deviate from the original style. The monsters look extremely good. pic.twitter.com/8QpMbmhxI2
— JP (@vectorpoem) 10. Dezember 2018
Zahlreiche weitere Beispiele für KI-Skalierung gibt es hier, besonders beeindruckend ist zum Beispiel das KI-Make von Resident Evil 2.
Resident Evil 2 im Original …
… und die KI-skalierte Version.
Falls sich die Methode etabliert, könnte es für Entwickler und Modder ein schneller und günstiger Weg sein, Spieleklassiker visuell für hochauflösende Screens aufzuwerten.
Nvidia bietet Entwicklern im Rahmen von Gameworks ebenfalls ein neuronales Netz für KI-Skalierung an, das Texturen um den Faktor acht hochrechnen und mit zusätzlichen Details versehen oder aus einer einzelnen Textur eigenständig Variationen generieren kann.
Wer niedrig aufgelöste Fotos mit dem Verfahren aufwerten will, kann es ohne Programmieraufwand bei der Online-Plattform “Let’s Enhance” probieren (Registrierung notwendig).
Login mit Steady