Το Ironwood TPU της Google και η μετάβαση προς υποδομές πρώτα για inference

Το Ironwood στοχεύει στο μποτλνεκ του inference, όχι στην ωμή απόδοση εκπαίδευσης

Η κεντρική είδηση hardware της Google στο Cloud Next 25 είναι το Ironwood, το TPU έβδομης γενιάς της εταιρείας. Το ενδιαφέρον σημείο είναι το πλαίσιο παρουσίασης: η Google το περιγράφει ως «σχεδιασμένο ειδικά για μοντέλα ΤΝ που σκέφτονται και συμπεραίνουν» και όχι ως επιταχυντή εκπαίδευσης γενικής χρήσης.

Οι δύο αριθμοί που δίνει η Google είναι πενταπλάσια μέγιστη υπολογιστική ισχύς και εξαπλάσια χωρητικότητα μνήμης υψηλού εύρους ζώνης (HBM) σε σχέση με το TPU προηγούμενης γενιάς. Η έμφαση στην HBM είναι ενδεικτική. Τα workloads συλλογιστικής και inference συχνά περιορίζονται από τη μνήμη και όχι από την υπολογιστική ισχύ, καθώς μεταφέρουν μεγάλα βάρη μοντέλων και διαρκώς αυξανόμενα παράθυρα context σε κάθε βήμα εξυπηρέτησης. Μια εξαπλάσια αύξηση στη χωρητικότητα μνήμης απαντά ακριβώς σε αυτόν τον περιορισμό.

Αυτή η τοποθέτηση έχει σημασία γιατί δείχνει προς τα πού βλέπει η Google να κινείται η ζήτηση. Η εκπαίδευση ενός μοντέλου αιχμής γίνεται μία φορά· η εξυπηρέτησή του γίνεται συνεχώς. Η κατασκευή chip ειδικά για την πλευρά του inference είναι ένα στοίχημα ότι το επαναλαμβανόμενο κόστος λειτουργίας των μοντέλων πλέον υπερισχύει του εφάπαξ κόστους δημιουργίας τους.

Λογισμικό που στοχεύει στη συρρίκνωση του κενού μεταξύ εκπαίδευσης και serving

Η Google αναφέρει ότι οι ενημερώσεις στο επίπεδο λογισμικού βοηθούν τους developers να «βελτιστοποιήσουν τους υπολογιστικούς πόρους» και να επιταχύνουν τα AI workloads, και συγκεκριμένα ότι αυτές οι εξελίξεις «συρρικνώνουν τον χρόνο ανάμεσα σε εκπαίδευση και inference».

Αυτή η φράση αξίζει προσοχή. Για ομάδες που εκτελούν αυτοματοποιημένη επανεκπαίδευση ή συνεχείς ενημερώσεις μοντέλων, το διάστημα ανάμεσα σε ένα ολοκληρωμένο training run και ένα deployed, ενεργό endpoint είναι νεκρός χρόνος — υποδομή που παραμένει αδρανής ενώ τα artifacts μετατρέπονται, επικυρώνονται και διανέμονται. Η συρρίκνωσή του είναι ένα λειτουργικό κέρδος που φαίνεται σε μικρότερο κόστος και ταχύτερη επανάληψη, όχι σε κάποιο σκορ benchmark.

Η πηγή διατηρεί αυτούς τους ισχυρισμούς περί λογισμικού σε γενικό επίπεδο, οπότε τα συγκεκριμένα τεχνικά στοιχεία βρίσκονται στο blog του Google Cloud και όχι σε αυτή την ανάρτηση. Ωστόσο, ο δηλωμένος στόχος — λιγότερη τριβή ανάμεσα στις δύο φάσεις της ζωής ενός μοντέλου — είναι συνεπής με την αφήγηση υποδομών με προτεραιότητα το inference.

Ο Dynamic Workload Scheduler και ο αυτοματισμός του ελέγχου κόστους

Το τρίτο κομμάτι είναι η κατανάλωση. Η Google αναφέρεται σε «ευέλικτα μοντέλα κατανάλωσης στο Dynamic Workload Scheduler» ως τον τρόπο με τον οποίο οι επιχειρήσεις μπορούν να ελέγχουν το κόστος. Αυτό είναι το επίπεδο που έχει τη μεγαλύτερη σχέση με τις ομάδες που σκέφτονται τον αυτοματισμό, καθώς το scheduling είναι το σημείο όπου η πειθαρχία κόστους σταματάει να είναι μια χειροκίνητη απόφαση και γίνεται μια πολιτική που επιβάλλει το ίδιο το σύστημα.

Ένας scheduler που προσφέρει ευέλικτες επιλογές κατανάλωσης επιτρέπει σε έναν οργανισμό να αναβάλλει μη επείγουσες εργασίες, να ομαδοποιεί δουλειές όταν η χωρητικότητα είναι πιο φθηνή και να διατηρεί διαδρομές υψηλής προτεραιότητας για serving ευαίσθητο στην καθυστέρηση (latency). Όταν γίνεται σωστά, αυτό μετατρέπει το «μην ξοδεύετε χρήματα σε αδρανείς επιταχυντές» από ανθρώπινη συνήθεια σε εγγύηση υποδομής.

Τι σημαίνουν τα τρία επίπεδα συνολικά για ομάδες που τρέχουν μοντέλα σε παραγωγή

Η συγκεκριμένη προέκταση αυτής της ανακοίνωσης είναι ότι η Google αντιμετωπίζει το inference ως το workload που διαμορφώνει ολόκληρη την υποδομή. Ο σχεδιασμός του Ironwood με έμφαση στη μνήμη, το λογισμικό που συρρικνώνει τη μετάβαση από την εκπαίδευση στο serving, και ένας scheduler φτιαγμένος για ευέλικτη κατανάλωση δείχνουν όλα προς την ίδια λειτουργική πραγματικότητα: το ακριβό, συνεχές κομμάτι της ΤΝ είναι η διατήρηση των μοντέλων σε λειτουργία, όχι η εκπαίδευσή τους.

Για ομάδες εφαρμοσμένης ΤΝ, το χρήσιμο συμπέρασμα δεν είναι τα νούμερα 5x και 6x αυτά καθαυτά, αλλά η κατεύθυνση που αντιπροσωπεύουν. Οι αποφάσεις υποδομών εξαρτώνται όλο και περισσότερο από την οικονομία του serving — μνήμη ανά chip, χρόνο μέχρι το endpoint, και πόσο αυτόματα μπορεί μια πλατφόρμα να προγραμματίσει εργασίες σε σχέση με το κόστος. Η Google συσκευάζει την απάντησή της σε όλα αυτά τα τρία ως ένα ενιαίο stack. Το αν οι ισχυρισμοί περί λογισμικού και scheduling επιβεβαιωθούν στην πράξη είναι κάτι που οι ομάδες πρέπει να ελέγξουν με βάση τα δικά τους προφίλ inference, καθώς η πηγή παραθέτει τους στόχους χωρίς τα υποκείμενα νούμερα.