Το GPT-4b micro της OpenAI μετατρέπει τον σχεδιασμό πρωτεϊνών σε πρόβλημα prompting

Τι χειρίστηκαν στην πραγματικότητα οι επιστήμονες της Retro

Η OpenAI και η Retro Bio δημιούργησαν το GPT-4b micro, μια μικρογραφία του GPT-4o, αρχικοποιημένη από μια σμικρυμένη βάση και εκπαιδευμένη κυρίως σε ακολουθίες πρωτεϊνών, καθώς και σε βιολογικό κείμενο και δεδομένα τρισδιάστατης δομής σε μορφή tokens. Ο σκοπός αυτού του συνδυασμού δεν ήταν η ωμή ακρίβεια πρόβλεψης, αλλά να γίνει το μοντέλο κάτι που ένας επιστήμονας θα μπορούσε να καθοδηγήσει.

Ένα μεγάλο μέρος των δεδομένων εκπαίδευσης ενισχύθηκε με πληροφορίες πλαισίου — περιγραφές πρωτεϊνών σε μορφή κειμένου, συνεξελικτικές ομόλογες ακολουθίες, και ομάδες πρωτεϊνών που είναι γνωστό ότι αλληλεπιδρούν. Αυτή η ενίσχυση είναι που επέτρεψε στο μοντέλο να 'καθοδηγείται μέσω prompt ώστε να παράγει ακολουθίες με συγκεκριμένες επιθυμητές ιδιότητες'. Στην πράξη, το interface μέσω του οποίου εργάστηκε η ομάδα της Retro ήταν ένα prompt: περιγράφεις την ιδιότητα που θέλεις και παίρνεις πίσω υποψήφιες ακολουθίες.

Επειδή τα περισσότερα δεδομένα δεν είχαν καθορισμένη δομή, το μοντέλο χειρίστηκε εξίσου καλά τις εγγενώς άτακτες πρωτεΐνες όσο και τις δομημένες — κάτι που είχε σημασία εδώ, καθώς οι παράγοντες Yamanaka KLF4 και SOX2 είναι σε μεγάλο βαθμό άμορφοι, με ευέλικτα «χέρια» που προσκολλώνται σε άλλες πρωτεΐνες αντί να διπλώνονται σε ένα σταθερό σχήμα.

Το context των 64.000 tokens είναι η πραγματική ιστορία του interface

Η εκπαίδευση σε πρωτεΐνες πλαισιωμένες με εξελικτικό και λειτουργικό context επέκτεινε το ουσιαστικό μήκος κάθε παραδείγματος πολύ πέρα από μια μεμονωμένη ακολουθία. Η OpenAI αναφέρει ότι εκτέλεσε prompts μεγέθους έως 64.000 tokens κατά το inference και συνέχισε να βλέπει βελτιώσεις στην ελεγξιμότητα και στην ποιότητα της παραγόμενης έκβασης — ένα μέγεθος context που το χαρακτηρίζει άνευ προηγουμένου για μοντέλα ακολουθιών πρωτεϊνών, αν και σύνηθες σε text LLMs.

Εκεί ακριβώς αυτή η λεπτομέρεια δίνει κυριολεκτικό νόημα στον χαρακτηρισμό 'frontend'. Ένα μεγάλο context window είναι αυτό που κάνει δυνατό ένα πλούσιο prompt: ο επιστήμονας μπορεί να παρέχει περιγραφές, ομόλογα και συνεργαζόμενες πρωτεΐνες, και το μοντέλο διαμορφώνει την έκβασή του με βάση όλα αυτά. Η ομάδα παρατήρησε επίσης νόμους κλιμάκωσης στιλ γλωσσικού μοντέλου — μεγαλύτερα μοντέλα σε μεγαλύτερα σύνολα δεδομένων απέδωσαν προβλέψιμες βελτιώσεις σε perplexity και benchmarks — γεγονός που τους επέτρεψε να επαναλαμβάνουν πειράματα οικονομικά σε μικρή κλίμακα πριν εκπαιδεύσουν το τελικό μοντέλο.

Γιατί η επίδειξη έπρεπε να γίνει σε εργαστήριο υγρής βιολογίας

Η OpenAI είναι ασυνήθιστα ευθεία σχετικά με τους περιορισμούς των δικών της μετρικών: 'οι in silico αξιολογήσεις για μοντέλα ΤΝ πρωτεϊνών έχουν συχνά περιορισμένη αξία, καθώς δεν είναι σαφές αν τέτοιες βελτιώσεις μεταφράζονται σε αυξημένη χρησιμότητα στον πραγματικό κόσμο'. Έτσι η επικύρωση ήταν φυσική, πραγματοποιήθηκε στην πλατφόρμα screening ινοβλαστών της Retro.

Για το RetroSOX, πάνω από το 30% των προτάσεων του μοντέλου ξεπέρασε την απόδοση της φυσικής SOX2 στην έκφραση δεικτών πολυδυναμίας, παρά τις διαφορές κατά μέσο όρο άνω των 100 αμινοξέων — έναντι τυπικών ποσοστών επιτυχίας κάτω του 10% στις παραδοσιακές μεθόδους screening. Για το RetroKLF, 14 παραλλαγές που δημιούργησε το μοντέλο ξεπέρασαν τα καλύτερα κοκτέιλ RetroSOX, με ποσοστό επιτυχίας κοντά στο 50%, ενώ προηγούμενη εργασία με μεμονωμένες υποκαταστάσεις υπό την καθοδήγηση ειδικών είχε δώσει μία επιτυχία στις 19.

Ο συνδυασμός των κορυφαίων παραλλαγών παρήγαγε την κεντρική 50-πλάσια αύξηση στους δείκτες αναπρογραμματισμού σε σχέση με τους φυσικούς μάρτυρες, με τους ύστερους δείκτες να εμφανίζονται αρκετές μέρες νωρίτερα. Το αποτέλεσμα επικυρώθηκε στη συνέχεια σε πολλαπλούς δωρητές, τύπους κυττάρων και μεθόδους χορήγησης, συμπεριλαμβανομένης της χορήγησης mRNA σε μεσεγχυματικά στρωματικά κύτταρα από δωρητές άνω των 50 ετών, όπου πάνω από το 30% των κυττάρων ξεκίνησε να εκφράζει βασικούς δείκτες εντός επτά ημερών.

Το σήμα βαθιάς επεξεργασίας που δείχνει ότι το prompting νικά τις μεθόδους σάρωσης μεταλλάξεων

Ο πιο σημαντικός αριθμός από μηχανική σκοπιά δεν είναι το 50x. Είναι το γεγονός ότι οι νικήτριες παραλλαγές διέφεραν από τις φυσικές ανθρώπινες πρωτεΐνες κατά πάνω από 100 αμινοξέα. Οι μέθοδοι κατευθυνόμενης εξέλιξης μεταλλάσσουν λίγα κατάλοιπα τη φορά· μια σημαντική ακαδημαϊκή προσπάθεια δοκίμασε μερικές χιλιάδες μεταλλάξεις SOX2 για ένα μέτριο κέρδος με τριπλή μετάλλαξη, ενώ 15 χρόνια εργασίας σε χιμαιρικά SOX απέδωσαν παραλλαγές που διέφεραν μόλις κατά πέντε κατάλοιπα.

Ένα generative interface που καθοδηγείται από prompts εξερευνά μια εντελώς διαφορετική περιοχή σε έναν χώρο 10^1000 παραλλαγών. Αντί να διαταράσσει μια γνωστή ακολουθία, το μοντέλο προτείνει απομακρυσμένους υποψήφιους με βάση την περιγραφή της ιδιότητας — και το κάνει με ποσοστά επιτυχίας που επιβίωσαν σε φυσικό screening. Αυτή είναι η συγκεκριμένη περίπτωση που στηρίζει την αντιμετώπιση του σχεδιασμού πρωτεϊνών ως πρόβλημα ελεγξιμότητας και όχι ως πρόβλημα αναζήτησης.

Τι σημαίνει ένα ελεγχόμενο, μη δημόσιο μοντέλο για ομάδες του πεδίου

Η OpenAI το παρουσιάζει ως ζήτημα ταχύτητας: 'Όταν οι ερευνητές φέρνουν βαθιά γνώση του πεδίου τους στα εργαλεία γλωσσικών μοντέλων μας, προβλήματα που κάποτε απαιτούσαν χρόνια μπορούν να λυθούν σε μέρες', λέει ο Boris Power, επικεφαλής των ερευνητικών συνεργασιών. Ο συγκεκριμένος παράγοντας που το επέτρεψε ήταν η ελεγξιμότητα — ένα interface prompt αρκετά πλούσιο ώστε οι επιστήμονες της Retro, και όχι οι μηχανικοί μοντέλων, να καθοδηγούν τη διαδικασία σχεδιασμού.

Οι επιφυλάξεις διατυπώνονται ξεκάθαρα και έχουν σημασία για όποιον σκέφτεται να γενικεύσει: το GPT-4b micro 'αναπτύχθηκε για ερευνητικούς σκοπούς και δεν είναι ευρέως διαθέσιμο', και ο Sam Altman είναι επενδυτής στη Retro Biosciences. Έτσι, το επαναληπτικό δίδαγμα δεν είναι ένα μοντέλο που μπορείτε να καλέσετε σήμερα. Είναι η αρχιτεκτονική της συνεργασίας: ένα μικρό, εξειδικευμένο στο πεδίο μοντέλο, με πρόσοψη ένα prompt μεγάλου context, όπου η πραγματική αξιολόγηση μεταφέρθηκε έξω από το benchmark και μέσα στο πείραμα.