GPT-4b micro di OpenAI trasforma la progettazione di proteine in un problema di prompting

Cosa hanno davvero utilizzato gli scienziati di Retro

OpenAI e Retro Bio hanno costruito GPT-4b micro, una versione in miniatura di GPT-4o inizializzata da una base ridotta e poi addestrata soprattutto su sequenze proteiche, oltre a testi biologici e dati di struttura 3D tokenizzati. Lo scopo di questo mix non era la pura accuratezza predittiva, ma rendere il modello qualcosa che uno scienziato potesse guidare.

Gran parte dei dati di addestramento è stata arricchita con informazioni contestuali — descrizioni testuali di proteine, sequenze omologhe co-evolutive e gruppi di proteine note per interagire tra loro. Questo arricchimento è ciò che ha permesso al modello di 'essere guidato tramite prompt a generare sequenze con proprietà specifiche desiderate.' In pratica, l'interfaccia usata dal team di Retro era un prompt: descrivi la proprietà che desideri, ricevi in cambio sequenze candidate.

Poiché gran parte dei dati era priva di struttura, il modello gestiva sia le proteine intrinsecamente disordinate che quelle strutturate — un aspetto rilevante in questo caso, dato che i fattori di Yamanaka KLF4 e SOX2 sono in larga parte non strutturati, con bracci flessibili che si legano ad altre proteine invece di ripiegarsi in una forma stabile unica.

Il contesto da 64.000 token è la vera storia dell'interfaccia

L'addestramento su proteine inserite in un contesto evolutivo e funzionale ha ampliato la lunghezza effettiva di ogni esempio ben oltre quella di una singola sequenza. OpenAI riporta di aver eseguito prompt fino a 64.000 token in fase di inferenza, osservando comunque miglioramenti nella controllabilità e nella qualità dell'output — una dimensione di contesto che definisce senza precedenti nei modelli di sequenze proteiche, sebbene comune nei LLM testuali.

È qui che l'idea di 'frontend' diventa concreta. Una finestra di contesto ampia è ciò che rende possibile un prompt ricco: lo scienziato può fornire descrizioni, omologhi e partner di interazione, e il modello condiziona il proprio output su tutti questi elementi. Il team ha inoltre osservato leggi di scaling tipiche dei modelli linguistici — modelli più grandi su dataset più ampi hanno prodotto miglioramenti prevedibili in perplessità e benchmark — che hanno permesso iterazioni economiche su piccola scala prima di addestrare il modello finale.

Perché la dimostrazione doveva avvenire in laboratorio

OpenAI è insolitamente diretta sui limiti delle proprie metriche: 'le valutazioni in silico per i modelli IA di proteine hanno spesso un valore limitato, poiché non è chiaro se tali miglioramenti si traducano in una maggiore utilità nel mondo reale.' Per questo la validazione è stata fisica, condotta sulla piattaforma di screening dei fibroblasti di Retro.

Per RetroSOX, oltre il 30% dei suggerimenti del modello ha superato SOX2 wild-type nell'espressione dei marcatori di pluripotenza, nonostante differissero in media per più di 100 amminoacidi — contro tassi di successo tipici degli screening tradizionali inferiori al 10%. Per RetroKLF, 14 varianti generate dal modello hanno superato i migliori cocktail RetroSOX, con un tasso di successo vicino al 50%, mentre il precedente lavoro guidato da esperti con sostituzioni singole aveva prodotto un solo risultato positivo su 19.

Combinando le varianti migliori si è ottenuto l'aumento di 50 volte nei marcatori di riprogrammazione rispetto ai controlli wild-type, con i marcatori tardivi che comparivano diversi giorni prima. Il risultato è stato successivamente validato su più donatori, tipi cellulari e metodi di somministrazione, incluso il delivery via mRNA in cellule stromali mesenchimali provenienti da donatori oltre i 50 anni, dove più del 30% delle cellule ha iniziato a esprimere i marcatori chiave entro sette giorni.

Il segnale profondo: il prompting supera gli screening di mutazione

Il numero più rilevante dal punto di vista tecnico non è il 50x. È il fatto che le varianti vincenti differissero dalle proteine umane naturali per più di 100 amminoacidi. Gli screening di evoluzione diretta mutano solo una manciata di residui alla volta; un noto progetto accademico ha testato qualche migliaio di mutanti di SOX2 per ottenere un modesto guadagno con una tripla mutazione, e 15 anni di lavoro sulle proteine chimeriche SOX hanno prodotto varianti che differivano di soli cinque residui.

Un'interfaccia generativa guidata da prompt esplora una regione completamente diversa di uno spazio di 10^1000 varianti. Invece di perturbare una sequenza nota, il modello propone candidati distanti condizionati dalla descrizione della proprietà desiderata — e lo fa con tassi di successo confermati da uno screening fisico. Questo è il caso concreto per trattare la progettazione di proteine come un problema di controllabilità piuttosto che di ricerca.

Cosa significa un modello governabile e non pubblico per i team di settore

OpenAI descrive questo risultato in termini di velocità: 'quando i ricercatori portano una profonda conoscenza di settore nei nostri strumenti basati su modelli linguistici, problemi che una volta richiedevano anni possono risolversi in giorni,' dice Boris Power, a capo delle partnership di ricerca. L'elemento abilitante specifico è stata la governabilità — un'interfaccia a prompt sufficientemente ricca da permettere agli scienziati di Retro, e non agli ingegneri del modello, di guidare il lavoro di progettazione.

Le avvertenze sono espresse chiaramente e contano per chi fosse tentato di generalizzare: GPT-4b micro 'è stato sviluppato per scopi di ricerca e non è ampiamente disponibile,' e Sam Altman è un investitore in Retro Biosciences. Quindi la lezione replicabile non è un modello che puoi usare oggi. È l'architettura della collaborazione: un modello piccolo, specializzato per il settore, dotato di un prompt a contesto lungo, con la vera valutazione spostata fuori dal benchmark e dentro al test di laboratorio.