Το Llama 3.2 της Meta λειτουργεί στον ΔΔΣ χωρίς σύνδεση με τη Γη

Ο περιορισμός που καθόρισε την επιλογή του μοντέλου

Το σημαντικότερο στοιχείο στην ανακοίνωση της Meta δεν είναι ένα χαρακτηριστικό, αλλά ένας περιορισμός: δεν υπάρχει διαδίκτυο στον Διεθνή Διαστημικό Σταθμό. Αυτή και μόνο η συνθήκη καθορίζει κάθε τεχνική επιλογή εδώ.

Επειδή το Llama 3.2 διανέμεται ως βάρη μοντέλου διαθέσιμα προς λήψη, η Booz Allen μπόρεσε να φορτώσει ένα προσαρμοσμένο αντίγραφο σε υλικό εν τροχιά και να εκτελέσει την εξαγωγή συμπερασμάτων τοπικά. Κανένα αίτημα δεν φεύγει από τον σταθμό, κανένα δεδομένο δεν διοχετεύεται μέσω κάποιας φιλοξενούμενης υπηρεσίας ΤΝ, και δεν απαιτείται καμία σύνδεση με το έδαφος για να απαντήσει το μοντέλο. Η Meta το παρουσιάζει ως ζήτημα ασφάλειας και κόστους, αλλά το ουσιαστικό όφελος είναι απλούστερο — το σύστημα λειτουργεί και όταν δεν υπάρχει τίποτα με το οποίο να συνδεθεί.

Αυτή είναι η περίπτωση που τα κλειστά μοντέλα με API δομικά δεν μπορούν να εξυπηρετήσουν. Ένα endpoint με χρέωση ανά χρήση προϋποθέτει μια διαδρομή δικτύου πίσω στους διακομιστές ενός προμηθευτή. Ο ΔΔΣ καταργεί αυτή την προϋπόθεση, και μαζί της ολόκληρο το μοτίβο ανάπτυξης από το οποίο εξαρτάται η περισσότερη εμπορική ΤΝ.

Τι είναι στην πραγματικότητα το σύνολο τεχνολογιών

Το Space Llama είναι περισσότερο ένα έργο ολοκλήρωσης παρά ένα έργο μοντέλου. Η Meta παρείχε τις δυνατότητες όρασης του Llama· η Booz Allen συνέβαλε με το εργαλείο A2E2 (ΤΝ για περιβάλλοντα άκρου δικτύου)· η υπολογιστική ισχύς προέρχεται από τον Spaceborne Computer-2 της HPE με επιταχυνόμενο υλικό NVIDIA.

Ο ισχυρισμός για την απόδοση είναι συγκεκριμένος και αξίζει να σημειωθεί: η ομάδα αναφέρει ότι εργασίες ΤΝ που διαρκούσαν λεπτά μειώθηκαν σε λίγο πάνω από ένα δευτερόλεπτο, χρησιμοποιώντας μοντέλα προσαρμοσμένα με το λογισμικό NVIDIA CUDA και τις βιβλιοθήκες επιτάχυνσης cuDNN και cuBLAS. Πρόκειται για μια ιστορία βελτιστοποίησης στο άκρο του δικτύου — τη συμπίεση ενός συμπαγούς συστήματος, κλάσης δορυφόρου, με περιορισμένη ενέργεια, ώστε να αποδίδει σε πραγματικό χρόνο, αντί για κλιμάκωση προς ένα μεγαλύτερο μοντέλο.

Η Meta περιγράφει τον συνδυασμό ως τον πρώτο του είδους του, όσο γνωρίζει, που χρησιμοποιείται πέρα από τη Γη. Η καινοτομία έγκειται στον συνδυασμό ανοιχτών βαρών, εργαλείων άκρου δικτύου και υλικού πιστοποιημένου για διαστημική χρήση, όχι σε κάποιο μεμονωμένο στοιχείο.

Μια στοχευμένη πρώτη εργασία: ανάκτηση εγγράφων

Η περιγραφόμενη χρήση είναι μετριοπαθής και συγκεκριμένη. Το Space Llama είναι γενετικό και πολυτροπικό — δέχεται κειμενική, οπτική και ηχητική είσοδο — και το παράδειγμα που δίνεται είναι η βοήθεια σε ερευνητές να ανακτούν πληροφορίες από τεχνικά έγγραφα αναφοράς και οδηγίες χωρίς σύνδεση στο διαδίκτυο.

Πρόκειται ουσιαστικά για ανάκτηση πληροφοριών και απάντηση ερωτήσεων εκτός σύνδεσης, βάσει τεκμηρίωσης που βρίσκεται ήδη επί του σκάφους, εφαρμοσμένη σε επισκευές και συντήρηση. Είναι μια λογική πρώτη εργασία: υψηλή αξία, περιορισμένο εύρος, και ανοχή σε ένα μικρό μοντέλο που εκτελείται σε περιορισμένο υλικό.

Ο Bill Vass, Chief Technology Officer της Booz Allen, το συνδέει με μια ευρύτερη πορεία:

Η καινοτομία στο διάστημα περιοριζόταν ιστορικά λόγω της εξάρτησης από επίγεια συνδεσιμότητα για υπολογιστικές δυνατότητες και επικοινωνίες. Το Space Llama φέρνει εργαλεία απευθείας στο άκρο του διαστήματος για να διεξάγονται ταχύτατα κρίσιμες επισκευές και να διατηρείται σε λειτουργία το ISS National Lab.Montana Labs

Η διαδρομή που το έκανε δυνατό

Η ανακοίνωση παραπέμπει σε δύο προηγούμενα βήματα. Τον Αύγουστο του 2024, η Booz Allen είχε ήδη εκτελέσει ένα γενετικό LLM στο διάστημα στον ίδιο Spaceborne Computer-2. Τον Νοέμβριο του 2024, η Meta άνοιξε τα μοντέλα Llama σε κρατικούς φορείς των ΗΠΑ και σε συνεργάτες του ιδιωτικού τομέα, κάτι που η εταιρεία αναγνωρίζει ως τον παράγοντα που έκανε δυνατό το Space Llama.

Πρόκειται λοιπόν για μια βαθμιαία εξέλιξη πάνω σε προηγούμενο υλικό και μια απόφαση αδειοδότησης, όχι για μια αυτόνομη ανακάλυψη. Το μοντέλο διανομής — βάρη που μπορείτε να κατεβάσετε, να προσαρμόσετε και να αναπτύξετε υπό άδεια προσανατολισμένη σε κρατικούς φορείς — είναι το στοιχείο που το επιτρέπει.

Το συμπέρασμα: η λειτουργία εκτός σύνδεσης εκ σχεδιασμού είναι μια πραγματική κατηγορία ανάπτυξης, και τα ανοιχτά βάρη την κατέχουν

Το Space Llama είναι ένα ακραίο παράδειγμα μιας κατηγορίας που έχει σημασία και στη Γη: αποσυνδεδεμένα, απομονωμένα ή διαλείπουσα συνδεδεμένα περιβάλλοντα όπου δεν μπορείτε να καλέσετε ένα φιλοξενούμενο API. Υποβρύχια, απομακρυσμένοι αισθητήρες, επιχειρήσεις πεδίου και ασφαλείς εγκαταστάσεις μοιράζονται τον βασικό περιορισμό του ΔΔΣ, ακόμη κι αν κανένα τους δεν μοιράζεται το ύψος του.

Για ομάδες που αναπτύσσουν λύσεις σε τέτοια περιβάλλοντα, το συμπέρασμα είναι πρακτικό. Όταν δεν μπορεί να θεωρηθεί δεδομένη η ύπαρξη δικτύου, η δυνατότητα να κατεβάσετε βάρη, να τα προσαρμόσετε και να εκτελέσετε την εξαγωγή συμπερασμάτων στο δικό σας επιταχυνόμενο υλικό δεν είναι απλή προτίμηση — είναι η μόνη αρχιτεκτονική που λειτουργεί. Αυτή η εφαρμογή αποδεικνύει ότι το μοτίβο αυτό λειτουργεί από άκρη σε άκρη σε περιορισμένο διαστημικό υλικό, γεγονός που ανεβάζει τον αξιόπιστο πήχη για όσα μπορεί να πετύχει η ΤΝ ανοιχτών βαρών στο άκρο του δικτύου πιο κοντά στο σπίτι μας.