Το Gemini Diffusion εγκαταλείπει τη ροή token από αριστερά προς τα δεξιά υπέρ ενός βρόχου βελτίωσης ολόκληρου του αποτελέσματος

Τι παρουσίασε στην πραγματικότητα η Google, και τι όχι

Η Google ανακοίνωσε το Gemini Diffusion ως ένα πειραματικό ερευνητικό μοντέλο, διαθέσιμο μόνο μέσω επίδειξης με λίστα αναμονής. Δεν πρόκειται για γενική κυκλοφορία, και η Google φροντίζει να το παρουσιάζει ως μία από τις πολλές προσεγγίσεις που δοκιμάζει για τη μείωση της καθυστέρησης (latency) σε ολόκληρη τη σειρά Gemini.

Ο συγκεκριμένος ισχυρισμός είναι στενός και αξίζει να παρατεθεί επακριβώς, χωρίς υπερβολές. Η επίδειξη, σύμφωνα με την Google, κάνει δύο πράγματα ταυτόχρονα.

Η πειραματική επίδειξη του Gemini Diffusion που κυκλοφόρησε σήμερα παράγει περιεχόμενο σημαντικά ταχύτερα από το ταχύτερο μοντέλο μας μέχρι στιγμής, ενώ διατηρεί την ίδια απόδοση σε κώδικα.Montana Labs

Μέσα σε αυτή την πρόταση κρύβονται δύο μετρήσιμοι ισχυρισμοί: ταχύτερο από το προηγούμενο ταχύτερο μοντέλο της Google, και απόδοση σε κώδικα στα ίδια επίπεδα, όχι βελτιωμένη. Η Google δεν δημοσιεύει σε αυτή την ανάρτηση τα νούμερα καθυστέρησης, το μοντέλο αναφοράς, ή το benchmark κώδικα, οπότε το μέγεθος του «σημαντικά ταχύτερα» παραμένει ανεπιβεβαίωτο μόνο από την πηγή.

Η διάχυση σημαίνει ότι το αποτέλεσμα φτάνει διαφορετικά, όχι απλώς πιο σύντομα

Η μέθοδος είναι η ουσία της είδησης. Η Google περιγράφει το Gemini Diffusion ως ένα μοντέλο που μαθαίνει να παράγει αποτελέσματα μετατρέποντας τυχαίο θόρυβο σε συνεκτικό κείμενο ή κώδικα, την ίδια αρχή στην οποία βασίζονται τα μοντέλα παραγωγής εικόνας και βίντεο της εταιρείας. Αυτό αποτελεί απόκλιση από τα αυτοπαλίνδρομα (autoregressive) γλωσσικά μοντέλα, τα οποία παράγουν ένα token μετά το άλλο, με βάση όλα όσα προηγήθηκαν.

Ένα μοντέλο διάχυσης βελτιώνει ολόκληρο ένα υποψήφιο αποτέλεσμα μέσω διαδοχικών βημάτων αφαίρεσης θορύβου, αντί να εκπέμπει μια ακολουθία από αριστερά προς τα δεξιά. Η πρακτική συνέπεια είναι ότι η μορφή του αποτελέσματος στην πάροδο του χρόνου είναι διαφορετική: αντί για ένα διαρκώς αυξανόμενο πρόθεμα, λαμβάνετε προοδευτικά πιο καθαρές εκδοχές ενός πλήρους μπλοκ.

Γιατί αυτό αφορά πρώτα τις ομάδες frontend

Τα περισσότερα frontend προϊόντων ΤΝ σήμερα είναι χτισμένα πάνω σε μία παραδοχή: τα tokens ρέουν με τη σειρά, οπότε τα αποδίδετε καθώς φτάνουν. Το εφέ κέρσορα πληκτρολόγησης, η σταδιακή απόδοση markdown, τα τμήματα κώδικα που συμπληρώνονται γραμμή προς γραμμή — όλα αυτά βασίζονται στο ότι η αυτοπαλίνδρομη παραγωγή δημιουργεί ένα σταθερό πρόθεμα που μόνο προσαρτάται.

Ένα μοντέλο διάχυσης δεν σας το προσφέρει αυτό εκ φύσεως. Αν οι ενδιάμεσες καταστάσεις είναι πλήρη προσχέδια που συνεχώς αλλάζουν, το μοτίβο απόδοσης με προσάρτηση δεν αντιστοιχεί πλέον καθαρά σε αυτό που κάνει το μοντέλο. Οι ομάδες ίσως χρειαστεί να αποφασίσουν αν θα εμφανίζουν τα περάσματα αφαίρεσης θορύβου, αν θα κρατούν το αποτέλεσμα μέχρι να σταθεροποιηθεί, ή αν θα εισάγουν εκ νέου ένα συνθετικό επίπεδο ροής από πάνω.

Ειδικά για επιφάνειες κώδικα, αυτό έχει διπλή όψη. Ο ισχυρισμός της Google για ισοδυναμία στον κώδικα υποδηλώνει ότι η ποιότητα κώδικα είναι συγκρίσιμη, αλλά ο τρόπος παράδοσης αυτού του κώδικα — να φτάνει ως βελτιωμένο σύνολο αντί να πληκτρολογείται σταδιακά — αλλάζει το πώς θα πρέπει να παρουσιάζεται σε μια προβολή διαφορών (diff), σε μια ενσωματωμένη αυτόματη συμπλήρωση, ή σε ένα UI αξιολόγησης κώδικα. Ο σχεδιασμός αλληλεπίδρασης που είχε νόημα για ροές token δεν είναι αυτόματα ο σωστός σχεδιασμός για έναν βρόχο βελτίωσης.

Το υπονοούμενο: η καθυστέρηση αντιμετωπίζεται ταυτόχρονα μέσα από δύο ασύμβατα μονοπάτια

Η Google είναι ξεκάθαρη ότι το Gemini Diffusion αποτελεί ένα από τα πολλά πειράματα, και στην ίδια ανάρτηση αναφέρεται σε ένα ταχύτερο 2.5 Flash Lite που έρχεται σύντομα. Αυτό είναι ένα συμβατικό, αυτοπαλίνδρομο μονοπάτι για μείωση της καθυστέρησης, το οποίο διατηρεί ακέραιο το υπάρχον συμβόλαιο ροής.

Έτσι η Google αντισταθμίζει τους κινδύνους: σταδιακά ταχύτερα αυτοπαλίνδρομα μοντέλα στο ένα μέτωπο, και μια θεμελιωδώς διαφορετική μέθοδος παραγωγής στο άλλο. Για όποιον χτίζει πάνω στο Gemini, αυτό σημαίνει να μην θεωρεί δεδομένο ένα ενιαίο συμβόλαιο αποτελέσματος στο μέλλον. Ένα μοντέλο που ρέει σε tokens και ένα μοντέλο που αφαιρεί θόρυβο από πλήρη προσχέδια μπορούν και τα δύο να είναι «ταχύτερα», αλλά απαιτούν διαφορετικά frontend.

Η λίστα αναμονής και η ετικέτα «πειραματικό ερευνητικό μοντέλο» είναι τα ειλικρινή σήματα εδώ. Είναι αρκετά πρώιμο στάδιο ώστε η σωστή κίνηση να είναι να δοκιμάσετε το μοντέλο αλληλεπίδρασης, όχι να ξαναχτίσετε ένα προϊόν γύρω από αδημοσίευτα στοιχεία καθυστέρησης.