Aus Pixelbrei wird dank Deep Learning mit vergleichsweise geringem Aufwand HD-Grafik.
Die Modifikation "Enhanced Textures" für den Rollenspielklassiker Morrowind rechnet die ursprünglichen Texturen des Spiels mit einem neuronalen Netz auf die vierfache Auflösung hoch.
Das KI-Verfahren ist im Kern das gleiche, das auch die Videofälscher-KI Deepfakes und andere Bildmanipulationen ermöglicht: Ein auf Skalierung optimiertes GAN-Netzwerk (ESRGAN) halluziniert zur Textur passende Details und steigert so die Auflösung durch zusätzliche Informationen.
Eine Generator-KI erstellt einen Texturvorschlag, eine Diskriminator-KI prüft diesen auf Glaubwürdigkeit. Mit jedem neuen Versuch nähert sich die Generator-KI der Zielvorgabe der Diskriminator-KI. Vortrainiert wurde das ESRGAN-Netz mit hochauflösenden Fotos und deren bikubisch herabskalierter Form.
Das Ergebnis ist eine zur Spielewelt passende HD-Grafik, die im Vergleich zur händischen Nachbearbeitung einzelner Texturen in Photoshop ohne großen Aufwand erzielt wird und dem Originalstil entspricht.
Der Code für das neuronale Netzwerk ist kostenlos verfügbar. Eine Anleitung steht hier.
Mit einem ähnlichen Verfahren polierte ein Fan die Texturen des Ballerklassikers "Doom" auf. Die Sprites müssen zum Teil händisch nachbearbeitet werden, dennoch wird der Aufwand durch die KI-Skalierung insgesamt deutlich reduziert.
https://t.co/2l1UTgjIR3 This Doom sprite + texture mod uses neural network upsampling and succeeds where so many "hi res texture pack" mods have failed, because it doesn't deviate from the original style. The monsters look extremely good. pic.twitter.com/8QpMbmhxI2
— JP (@vectorpoem) 10. Dezember 2018
Zahlreiche weitere Beispiele für KI-Skalierung gibt es hier, besonders beeindruckend ist zum Beispiel das KI-Make von Resident Evil 2.
Falls sich die Methode etabliert, könnte es für Entwickler und Modder ein schneller und günstiger Weg sein, Spieleklassiker visuell für hochauflösende Screens aufzuwerten.
Nvidia bietet Entwicklern im Rahmen von Gameworks ebenfalls ein neuronales Netz für KI-Skalierung an, das Texturen um den Faktor acht hochrechnen und mit zusätzlichen Details versehen oder aus einer einzelnen Textur eigenständig Variationen generieren kann.
Wer niedrig aufgelöste Fotos mit dem Verfahren aufwerten will, kann es ohne Programmieraufwand bei der Online-Plattform "Let's Enhance" probieren (Registrierung notwendig).
