Το επεξηγηματικό άρθρο της Google για τα TPU στηρίζεται σε έναν αριθμό: 121 exaflops

Τι ισχυρίζεται στην πραγματικότητα η ανάρτηση

Η ανάρτηση είναι ένα απλό, κατανοητό κείμενο επεξήγησης, όχι ένα φυλλάδιο τεχνικών προδιαγραφών. Περιορίζεται σε λίγους ισχυρισμούς: τα TPU είναι εξειδικευμένα chip σχεδιασμένα για μία δουλειά, εκτελώντας υπολογισμούς σε τεράστια κλίμακα· η Google τα σχεδίασε από το μηδέν πάνω από μία δεκαετία πριν, ειδικά για να τρέχουν μοντέλα ΤΝ· και η νεότερη γενιά μπορεί να επεξεργαστεί 121 exaflops υπολογιστικής ισχύος, με διπλάσιο bandwidth σε σχέση με τις προηγούμενες γενιές.

Αυτό είναι το σύνολο των συγκεκριμένων στοιχείων. Δεν αναφέρεται όνομα chip, ούτε τεχνολογία κατασκευής, ούτε σύγκριση με ανταγωνιστικούς επιταχυντές, ούτε λεπτομέρειες για το ποιο φόρτο εργασίας μετρήθηκε για να προκύψει το νούμερο των 121 exaflops. Το υπόλοιπο της ανάρτησης παραπέμπει τους αναγνώστες σε ένα βίντεο.

Η νεότερη γενιά TPU μπορεί να επεξεργαστεί 121 exaflops υπολογιστικής ισχύος, με διπλάσιο bandwidth σε σχέση με τις προηγούμενες γενιές.Montana Labs

Γιατί η υπολογιστική ισχύς και το bandwidth αναφέρονται μαζί

Τα δύο νούμερα που επέλεξε να δημοσιεύσει η Google λένε πολλά. Η καθαρή υπολογιστική ισχύς —το νούμερο των exaflops— είναι ο πρωταγωνιστικός τίτλος, αλλά ο συνδυασμός του με μια αναφορά σε bandwidth δείχνει ότι η Google γνωρίζει πού πραγματικά μπλοκάρει η απόδοση των μεγάλων μοντέλων. Ο διπλασιασμός του bandwidth έχει σημασία, γιατί το να τροφοδοτήσεις μια μηχανή πράξεων πινάκων είναι συχνά πιο δύσκολο από το να την κατασκευάσεις.

Για ομάδες που εκτελούν inference ή εκπαίδευση σε μεγάλη κλίμακα, αυτός ο συνδυασμός είναι η πιο ειλικρινής εικόνα. Ένα chip που μπορεί να κάνει τεράστιους υπολογισμούς αλλά δεν μπορεί να μεταφέρει δεδομένα σε αυτό αρκετά γρήγορα, καθυστερεί. Παρουσιάζοντας τα δύο μαζί, η ανάρτηση παρουσιάζει έμμεσα τη νεότερη γενιά TPU ως ισορροπημένη και όχι απλώς γρήγορη στα χαρτιά.

Η επιλογή πλαισίωσης: εσωτερικό chip, μήνυμα για το ευρύ κοινό

Η εισαγωγική φράση της ανάρτησης —ότι αυτά τα chip βρίσκονται πίσω από τα προϊόντα της Google που χρησιμοποιείτε καθημερινά— έχει σημασία ως τοποθέτηση. Η Google παρουσιάζει τα TPU όχι ως προϊόν cloud προς αγορά, αλλά ως το αόρατο υπόστρωμα των δικών της υπηρεσιών. Το κοινό-στόχος εδώ είναι οι απλοί αναγνώστες, όχι οι ομάδες προμηθειών.

Αυτή η πλαισίωση επιτρέπει στην Google να αφηγηθεί μια ιστορία δεκαετούς κάθετης ολοκλήρωσης: σχεδίασε το chip ειδικά για μαθηματικές πράξεις ΤΝ, και αυτό το chip τρέχει σήμερα τα μοντέλα με τα οποία αλληλεπιδρούν οι χρήστες. Ο ισχυρισμός για εξειδικευμένο υλικό από πριν από πάνω από δέκα χρόνια είναι το στοιχείο διαφοροποίησης που τονίζεται, περισσότερο από οποιαδήποτε μεμονωμένη μέτρηση απόδοσης.

Τι αφήνει αναπάντητο αυτή η συγκεκριμένη ανάρτηση για όσους χτίζουν προϊόντα

Για μια εφαρμοσμένη ομάδα ΤΝ, η πρακτική συνέπεια είναι ότι αυτή η ανακοίνωση αποτελεί αφήγημα, όχι δεδομένο για λήψη αποφάσεων. Το νούμερο των 121 exaflops δεν συνοδεύεται στο κείμενο από κανένα δηλωμένο benchmark, μορφή ακρίβειας ή μονάδα κλίμακας, πράγμα που σημαίνει ότι δεν μπορεί να χρησιμοποιηθεί απευθείας για τη διαστασιολόγηση ή τη σύγκριση φόρτων εργασίας.

Το χρήσιμο σήμα είναι κατευθυντικό: η Google συνεχίζει να επενδύει σε γενιές TPU που βελτιώνουν ταυτόχρονα την υπολογιστική ισχύ και το bandwidth μνήμης, και θέλει αυτή η επένδυση να γίνεται ορατή σε ένα ευρύτερο κοινό. Οι ομάδες που αποφασίζουν ανάμεσα σε επιταχυντές θα χρειαστούν τις λεπτομερείς προδιαγραφές που η ανάρτηση σκόπιμα παραλείπει — η ίδια η ανάρτηση είναι μια πρόσκληση για να δείτε, όχι τα δεδομένα για να ενεργήσετε.