KI-System bringt Farbe in Schwarz-Weiß-Filme

Aus grau wird bunt: Forscher haben ein lernfähiges KI-System entwickelt, das historische Schwarz-Weiß-Aufnahmen realitätsgetreu kolorieren kann. Der mithilfe historischer Aufnahmen vortrainierte Algorithmus hat gelernt, welche Farbe beispielsweise typische Kleidung, Alltagsobjekte oder Gebäude hatten und kann so schnell und geschichtlich korrekt alte Filme einfärben. Selbst das für alte Aufnahmen typische „Rauschen“ bleibt erhalten.

In den Archiven dieser Welt lagern unzählige historische Aufnahmen in schwarz-weiß. Diese Kulturgüter und Zeitdokumente werden heute nach und nach digitalisiert und restauriert, um sie für die Nachwelt zu erhalten, aber auch um sie abspielbar zu machen. Schon seit den 1970er-Jahren gibt es Bemühungen, solche historischen Filmaufnahmen zu kolorieren – allerdings nur mit begrenztem Erfolg. Denn die Einfärbung eines Films Bild für Bild ist extrem aufwendig und bei bisherigen Versuchen einer automatischen Einfärbung erschien das Ergebnis oft künstlich bunt und war nicht sonderlich relatitätsgetreu.

Erst Vortraining, dann Finetuning

An diesem Punkt setzt nun das Projekt von Forschenden um Thomas Pock von der TU Graz an. Zusammen mit der auf die Restauration von historischen Filmen spezialisierten Grazer Firma HS-ART haben sie ein KI-System entwickelt, das Deep-Learning-Technologien mit interaktiven und automatisierten Einfärbetechniken kombiniert. Die Basis bilden selbstlernende neuronale Netze, die mithilfe einer großen Sammlung von historischen Trainingsbildern trainiert wurden.

„Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen“, erklärt Pock. Deshalb folgte auf die Phase des selbstständigen Trainings für das KI-System eine zweite Phase der menschengeleiteten Steuerung. „Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt“, erklärt Pock.

Authentisches Filmrauschen bleibt erhalten

Erst durch diese Kombination von Vortraining und nutzergeleitetem Feintuning kann das KI-System authentische und historisch korrekte Farbschemata und Kolorierungen erstellen. Mit diesen Algorithmen können alte Schwarz-Weiß-Filme nun sauber restauriert und auch eingefärbt werden – ohne dass das historische Flair verloren geht: „Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewisse Rauschen, den sogenannten „Filmgrain“, sonst wirkt das für das Publikum nicht authentisch“, erklärt Pock.

„Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen“, so der Forscher. Der vom Projektpartner HS-Art auf Basis dieser Vorarbeiten entwickelte „Diamant-Film Colorizer“ hat sich bereits in der Praxis bewährt, er kam unter anderem in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.

Der Kernalgorithmus wurde auf einer großen internationalen Fachtagung publiziert, der Quellcode ist frei zugänglich. Für den effizienten Einsatz ist aber die darauf aufbauende Software nötig, die vom Projektpartner HS-Art entwickelt wurde.

Quelle: Technische Universität Graz