Jul, 134 Min. Lesezeit
Plattform
News · Googles „Wizard of Oz“-Restaurierung im Sphere: ein Fine-Tuning-Problem im Gewand eines Spektakels
Apr, 84 Min. Lesezeit
PlattformGoogles „Wizard of Oz“-Restaurierung im Sphere: ein Fine-Tuning-Problem im Gewand eines Spektakels
Wie Google DeepMind und Google Cloud drei körnige Filmnegative aus dem Jahr 1939 mit Imagen, Veo und Gemini auf eine 14.900 Quadratmeter große LED-Leinwand strecken
Drei Filmnegative, 14.900 Quadratmeter
Der technische Ausgangspunkt ist ungewöhnlich konkret. Buzz Hays, globaler Leiter für Entertainment-Branchenlösungen bei Google Cloud, beschreibt die Quelle so: „das ursprüngliche Vier-zu-drei-Bild auf einem 35-mm-Zelluloidstreifen – tatsächlich sind es drei separate, körnige Filmnegative; so wurde Technicolor damals gedreht.“
Diese Quelle muss auf dem 16K-LED-Bildschirm des Sphere landen – laut Beschreibung der höchstauflösende Bildschirm der Welt – verteilt auf 14.900 Quadratmeter Fläche, die einen Veranstaltungsort mit 17.600 Sitzplätzen umhüllt. Die Diskrepanz zwischen einem 4:3-Negativ aus dem Jahr 1939 und einer sphärischen Rundum-Leinwand ist genau das Problem, für dessen Lösung das Projekt existiert. Premiere ist am 28. August.
Der Rahmen ist hier entscheidend: Es geht nicht um ein Upscaling für einen größeren Fernseher. Ein klassisches Kinobild schneidet ständig zwischen Figuren hin und her und blendet sie dabei aus dem Bild aus. Auf dem Sphere muss alles in einer Szene gleichzeitig existieren, was bedeutet, dass fehlende Elemente rekonstruiert und nicht nur vergrößert werden müssen.
Drei fein abgestimmte Modelle für drei unterschiedliche Aufgaben
Google unterteilt die Pipeline in drei getrennte Arbeitsschritte, die jeweils von aufgabenspezifischen Versionen von Veo, Imagen und Gemini übernommen werden. Super Resolution wandelt die winzigen Zelluloid-Bilder in ultrahochauflösende Bildinhalte um. Outpainting erweitert Szenen, um Raum zu füllen und die durch Schnitte und Bildausschnitte entstandenen Lücken zu schließen. Performance Generation fügt die originalen schauspielerischen Leistungen in diese erweiterten Umgebungen ein.
Das interessante Detail auf Plattformebene ist, dass es sich hierbei nicht um Standard-Modellaufrufe handelt. Jede Stufe nutzt eine Version, die „speziell für die jeweilige Aufgabe abgestimmt“ wurde. Die Ankündigung beschreibt im Grunde einen Medien-Generierungs-Stack, bei dem einzelne Modelle jeweils auf eine Funktion spezialisiert sind, statt ein einziges Modell per Prompting alles erledigen zu lassen.
Der Bericht von DeepMind-Forscher Dr. Steven Hickson über den Projektverlauf macht offen deutlich, wie unausgereift der Ansatz zu Beginn war: „Wir stießen auf etwas, das wir nicht konnten, hielten es für unmöglich – und einen Monat später dachten wir: Eigentlich könnte das doch gehen.“
Das Archiv als Trainingsdaten
Die am besten übertragbare Erkenntnis dieses Projekts ist, dass die größten Qualitätsgewinne nicht von einem besseren Modell kamen, sondern von mehr Ausgangsmaterial. Das Team durchsuchte Archive nach dem Drehbuch, Produktionsillustrationen, Fotografien, Bühnenbildplänen und Notenmaterial und trainierte Veo und Gemini anschließend gezielt mit diesen Materialien nach.
Bemerkenswert ist, dass der Fine-Tuning-Datensatz auch Produktionsmetadaten wie Kamerabrennweiten für bestimmte Szenen enthält – Details, die dazu beitragen, dass ein generiertes Bild exakt der tatsächlichen ursprünglichen Aufnahme entspricht. Google berichtet von konkreten Ergebnissen: „Dorothys Sommersprossen werden scharf, und Toto kann in mehr Szenen deutlich flüssiger herumlaufen.“
Das kehrt die übliche Erzählung generativer Medien um. Der entscheidende Hebel war nicht eine intelligentere Architektur, sondern der Aufbau eines dichten, domänenspezifischen Datensatzes, der weit über den 102-minütigen Film selbst hinausging – so lernte das Modell diese konkrete Produktion, nicht Film im Allgemeinen.
Eine harte Vorgabe: kein neues Material
Das Projekt unterliegt einer Regel, die jede technische Entscheidung prägt: Es wurden keine neuen Dialoge geschrieben und keine neue Musik aufgenommen. Produzentin Jane Rosenthal sagt, das Team habe andere Ansätze erwogen, bevor man zu dem Schluss kam, „dass wir das wirklich mit KI umsetzen mussten“, und Hays betont, dass jede Änderung gemeinsam mit Warner Bros. vorgenommen wurde, um die Kontinuität zum Original zu bewahren.
Für ein angewandtes Team ist das die eigentlich relevante Botschaft. Der Wert lag nicht in der Generierung als Selbstzweck, sondern in einer Generierung, die durch ein bestehendes, lizenziertes, kanonisches Werk begrenzt wird – die Aufgabe des Modells ist es, zu erweitern statt zu erfinden. Genau diese Vorgabe machte das Fine-Tuning mit archivarischem Produktionsmaterial unerlässlich, und genau das unterscheidet dieses System von einem, das frei fabulieren könnte.
Die konkrete Implikation: Google positioniert Imagen, Veo und Gemini nicht als Text-zu-Video-Spielereien, sondern als Restaurierungs- und Erweiterungs-Pipeline für Rechteinhaber, die Ergebnisse benötigen, die einer festgelegten Quelle treu bleiben. Das entscheidende Unterscheidungsmerkmal ist aufgabenspezifisches Fine-Tuning kombiniert mit disziplinierter Datenkuration – nicht die reine generative Fähigkeit allein.
Find this story relevant to you?
Contact us to find a unique solution
Brauchen Sie einen KI-Engineering-Partner, der auch liefern kann?
Wir helfen Unternehmen dabei, KI in Produkte und Prozesse zu integrieren, wertvolle Workflows zu automatisieren und die zugrunde liegenden Softwaresysteme zu modernisieren.
Weiterführende Beiträge
Weitere Analysen rund um Produktbereitstellung, operative KI und die Systemarbeit, die dafür sorgt, dass der Einsatz in der Praxis Bestand hat.