Jul, 134 λεπτά ανάγνωσης
Πλατφόρμα
News · Η αναπαλαίωση του «Ο Μάγος του Οζ» από την Google στο Sphere: ένα πρόβλημα fine-tuning με ένδυμα θεάματος
Apr, 84 λεπτά ανάγνωσης
ΠλατφόρμαΗ αναπαλαίωση του «Ο Μάγος του Οζ» από την Google στο Sphere: ένα πρόβλημα fine-tuning με ένδυμα θεάματος
Πώς η Google DeepMind και η Google Cloud απλώνουν τρία θολά φιλμ αρνητικά του 1939 σε μια οθόνη LED 160.000 τετραγωνικών ποδιών με τη χρήση των Imagen, Veo και Gemini
Τρία φιλμ αρνητικά, 160.000 τετραγωνικά πόδια
Το τεχνικό σημείο εκκίνησης είναι ασυνήθιστα συγκεκριμένο. Ο Buzz Hays, επικεφαλής της Google Cloud για λύσεις στη βιομηχανία θεάματος παγκοσμίως, περιγράφει την πηγή ως «την αρχική εικόνα αναλογίας τέσσερα προς τρία σε ένα κομμάτι σελιλόιντ 35mm — στην πραγματικότητα είναι τρία ξεχωριστά, θολά φιλμ αρνητικά· έτσι γύριζαν το Technicolor».
Αυτή η πηγή πρέπει να προσαρμοστεί στην οθόνη LED 16K του Sphere — που περιγράφεται ως η υψηλότερης ανάλυσης οθόνη στον κόσμο — σε επιφάνεια 160.000 τετραγωνικών ποδιών, καλύπτοντας έναν χώρο 17.600 θέσεων. Η ασυμβατότητα ανάμεσα σε ένα αρνητικό αναλογίας 4:3 του 1939 και έναν σφαιρικό καμβά που περιβάλλει τον θεατή είναι ακριβώς το πρόβλημα που καλείται να λύσει το έργο. Κάνει πρεμιέρα στις 28 Αυγούστου.
Το πλαίσιο εδώ έχει σημασία: δεν πρόκειται για αναβάθμιση ανάλυσης για μια μεγαλύτερη τηλεόραση. Ένα συμβατικό κινηματογραφικό πλάνο διαρκώς εναλλάσσεται μεταξύ χαρακτήρων, αφαιρώντας τους από το οπτικό πεδίο. Στο Sphere, όλα τα στοιχεία μιας σκηνής πρέπει να συνυπάρχουν ταυτόχρονα, πράγμα που σημαίνει ότι τα στοιχεία που λείπουν πρέπει να ανακατασκευαστούν, όχι απλώς να μεγεθυνθούν.
Τρία εξειδικευμένα μοντέλα, τρεις διαφορετικές δουλειές
Η Google χωρίζει τη διαδικασία σε τρεις διακριτές λειτουργίες, καθεμία από τις οποίες αναλαμβάνουν εκδόσεις των Veo, Imagen και Gemini προσαρμοσμένες στη συγκεκριμένη εργασία. Η υπερανάλυση μετατρέπει τα μικροσκοπικά καρέ σελιλόιντ σε εικόνες υπερυψηλής ανάλυσης. Το outpainting επεκτείνει τις σκηνές για να καλύψει τον χώρο και τα κενά που αφήνουν οι αλλαγές πλάνων και η σύνθεση εικόνας. Η δημιουργία ερμηνειών ενσωματώνει τις αρχικές ερμηνείες των ηθοποιών μέσα σε αυτά τα διευρυμένα περιβάλλοντα.
Η ενδιαφέρουσα λεπτομέρεια σε επίπεδο πλατφόρμας είναι ότι δεν πρόκειται για κλήσεις σε έτοιμα μοντέλα. Κάθε στάδιο χρησιμοποιεί μια έκδοση «ειδικά προσαρμοσμένη για τη συγκεκριμένη εργασία». Η ανακοίνωση περιγράφει, ουσιαστικά, μια στοίβα δημιουργίας πολυμέσων όπου διαφορετικά μοντέλα εξειδικεύονται ανά λειτουργία, αντί ένα ενιαίο μοντέλο να καλείται να κάνει τα πάντα μέσω prompting.
Η αφήγηση του ερευνητή της DeepMind, Dr. Steven Hickson, για την πορεία του έργου είναι ειλικρινής ως προς το πόσο ημιτελές ήταν στην αρχή: «Βρίσκαμε κάτι που δεν μπορούσαμε να κάνουμε, το θεωρούσαμε αδύνατο, και έναν μήνα μετά λέγαμε, μισό λεπτό, μάλλον μπορούμε να το κάνουμε».
Το αρχείο ως δεδομένα εκπαίδευσης
Η πιο μεταφερόμενη ιδέα σε αυτή την ιστορία είναι ότι η μεγαλύτερη βελτίωση στην ποιότητα δεν ήρθε από ένα καλύτερο μοντέλο, αλλά από περισσότερο πηγαίο υλικό. Η ομάδα έψαξε αρχεία για το σενάριο γυρισμάτων, εικονογραφήσεις παραγωγής, φωτογραφίες, σχέδια σκηνικών και παρτιτούρες, και στη συνέχεια εκπαίδευσε περαιτέρω τα Veo και Gemini με αυτό το υλικό.
Αξίζει να σημειωθεί ότι το σύνολο δεδομένων fine-tuning περιλαμβάνει μεταδεδομένα παραγωγής, όπως εστιακά μήκη φωτογραφικών φακών για συγκεκριμένες σκηνές — το είδος της λεπτομέρειας που περιορίζει ένα παραγόμενο πλάνο ώστε να αντιστοιχεί στον τρόπο με τον οποίο γυρίστηκε πραγματικά το αρχικό. Η Google αναφέρει συγκεκριμένα αποτελέσματα: «Οι φακίδες της Ντόροθι έρχονται σε εστίαση και ο Τοτό μπορεί να τρέχει πιο ομαλά μέσα από περισσότερες σκηνές».
Αυτό αντιστρέφει τη συνήθη αφήγηση περί generative media. Ο μοχλός δεν ήταν μια πιο έξυπνη αρχιτεκτονική· ήταν η συγκέντρωση ενός πυκνού, εξειδικευμένου στον τομέα συνόλου δεδομένων, πολύ πέρα από την ίδια την ταινία των 102 λεπτών, ώστε το μοντέλο να μάθει αυτή τη συγκεκριμένη παραγωγή και όχι τον κινηματογράφο γενικά.
Ένας αυστηρός περιορισμός: κανένα νέο υλικό
Το έργο επιβάλλει έναν κανόνα που διαμορφώνει κάθε τεχνική επιλογή: δεν γράφτηκαν νέοι διάλογοι και δεν ηχογραφήθηκε νέα μουσική. Η παραγωγός Jane Rosenthal λέει ότι η ομάδα εξέτασε άλλες προσεγγίσεις πριν καταλήξει ότι «όντως έπρεπε να το κάνουμε με ΤΝ», και ο Hays σημειώνει ότι κάθε αλλαγή έγινε σε συνεργασία με τη Warner Bros. για να διατηρηθεί η συνέχεια με το πρωτότυπο.
Για μια ομάδα εφαρμοσμένης ΤΝ, αυτό είναι το χρήσιμο δίδαγμα. Η αξία δεν βρισκόταν στην παραγωγή περιεχομένου για χάρη της παραγωγής — βρισκόταν στην παραγωγή που οριοθετείται από ένα υπάρχον, αδειοδοτημένο, κανονικό έργο, όπου ο ρόλος του μοντέλου είναι να επεκτείνει και όχι να επινοεί. Αυτός ο περιορισμός είναι που έκανε το fine-tuning σε αρχειακό υλικό παραγωγής απαραίτητο, και αυτό είναι που διαφοροποιεί το έργο από ένα σύστημα που θα μπορούσε να αυτοσχεδιάζει ελεύθερα.
Η συγκεκριμένη προέκταση: η Google τοποθετεί τα Imagen, Veo και Gemini όχι ως εργαλεία text-to-video για επίδειξη, αλλά ως μια αλυσίδα αναπαλαίωσης και επέκτασης για δικαιούχους πνευματικών δικαιωμάτων που χρειάζονται αποτέλεσμα πιστό στην αρχική πηγή. Το στοιχείο διαφοροποίησης που παρουσιάζεται είναι ο εξειδικευμένος ανά εργασία fine-tuning συνδυασμένος με πειθαρχημένη επιμέλεια δεδομένων — όχι απλώς η ωμή γεννητική ικανότητα από μόνη της.
Find this story relevant to you?
Contact us to find a unique solution
Χρειάζεστε συνεργάτη AI engineering που μπορεί να παραδώσει;
Βοηθάμε ομάδες στην Ελλάδα να ενσωματώσουν AI, να δημιουργήσουν AI-powered προϊόντα, να αυτοματοποιήσουν κρίσιμες ροές εργασίας και να εκσυγχρονίσουν τα συστήματα που τα στηρίζουν.
Σχετικά άρθρα
Περισσότερη ανάλυση για την παράδοση προϊόντων, τη λειτουργική ΤΝ και τη δουλειά στα συστήματα που κάνει την ανάπτυξη να αντέχει στην πράξη.