OpenAIs GPT-4b micro macht aus Proteindesign ein Prompting-Problem

Was Retros Wissenschaftler tatsächlich bedienten

OpenAI und Retro Bio entwickelten GPT-4b micro, eine Miniaturversion von GPT-4o, die von einer verkleinerten Basis ausging und überwiegend mit Proteinsequenzen trainiert wurde – ergänzt durch biologische Texte und tokenisierte 3D-Strukturdaten. Ziel dieser Mischung war nicht rohe Vorhersagegenauigkeit, sondern ein Modell, das sich von Wissenschaftlern steuern lässt.

Ein Großteil der Trainingsdaten wurde mit Kontextinformationen angereichert – Textbeschreibungen von Proteinen, koevolutionär verwandte Sequenzen und Gruppen bekanntermaßen interagierender Proteine. Genau diese Anreicherung ermöglichte es, das Modell 'per Prompt zur Erzeugung von Sequenzen mit bestimmten gewünschten Eigenschaften' zu bewegen. Im Grunde arbeitete Retros Team über eine Prompt-Schnittstelle: die gewünschte Eigenschaft beschreiben, Kandidatensequenzen erhalten.

Da der Großteil der Daten strukturfrei war, kam das Modell sowohl mit intrinsisch ungeordneten als auch mit strukturierten Proteinen zurecht – wichtig hier, denn die Yamanaka-Faktoren KLF4 und SOX2 sind größtenteils unstrukturiert, mit flexiblen Armen, die sich an andere Proteine anlagern, statt sich zu einer einzigen stabilen Form zu falten.

Das eigentliche Interface-Thema: der 64.000-Token-Kontext

Das Training mit evolutionär und funktional eingebetteten Proteinen dehnte die effektive Länge jedes Beispiels weit über eine einzelne Sequenz hinaus. OpenAI berichtet von Prompts mit bis zu 64.000 Tokens bei der Inferenz, die weiterhin Steigerungen bei Steuerbarkeit und Ausgabequalität zeigten – eine Kontextgröße, die man für Proteinsequenzmodelle als beispiellos bezeichnet, obwohl sie bei Text-LLMs üblich ist.

Genau hier wird die 'Frontend'-Metapher wörtlich. Ein großes Kontextfenster macht einen reichhaltigen Prompt erst möglich: Der Wissenschaftler kann Beschreibungen, Homologe und Interaktionspartner liefern, und das Modell bezieht all das in seine Ausgabe ein. Das Team beobachtete außerdem sprachmodell-typische Skalierungsgesetze – größere Modelle auf größeren Datensätzen lieferten vorhersagbare Verbesserungen bei Perplexität und Benchmarks – was günstige Iterationen im Kleinen ermöglichte, bevor das finale Modell trainiert wurde.

Warum die Demo im Nasslabor stattfinden musste

OpenAI äußert sich ungewöhnlich offen zu den Grenzen der eigenen Metriken: 'In-silico-Evaluierungen für KI-Proteinmodelle sind oft von begrenztem Wert, da unklar ist, ob solche Verbesserungen sich in der realen Welt in echten Nutzen übersetzen.' Die Validierung erfolgte deshalb physisch, auf Retros Fibroblasten-Screening-Plattform.

Bei RetroSOX übertrafen über 30 % der Modellvorschläge den Wildtyp-SOX2 bei der Expression von Pluripotenzmarkern – trotz durchschnittlich mehr als 100 abweichender Aminosäuren –, verglichen mit typischen Trefferquoten klassischer Screenings von unter 10 %. Bei RetroKLF übertrafen 14 vom Modell erzeugte Varianten die besten RetroSOX-Kombinationen, eine Trefferquote von nahezu 50 %, während frühere, von Experten geleitete Einzelsubstitutionen nur einen Treffer aus 19 Versuchen lieferten.

Die Kombination der besten Varianten ergab die schlagzeilenträchtige 50-fache Steigerung der Reprogrammierungsmarker gegenüber Wildtyp-Kontrollen, wobei späte Marker mehrere Tage früher auftraten. Das Ergebnis wurde später über mehrere Spender, Zelltypen und Verabreichungsmethoden hinweg bestätigt, darunter mRNA-Verabreichung in mesenchymale Stromazellen von Spendern über 50 Jahren, bei denen über 30 % der Zellen innerhalb von sieben Tagen begannen, Schlüsselmarker zu exprimieren.

Das Deep-Edit-Signal: Prompting schlägt Mutations-Screenings

Die technisch relevanteste Zahl ist nicht die 50-fache Steigerung, sondern dass sich die erfolgreichen Varianten von natürlichen menschlichen Proteinen um mehr als 100 Aminosäuren unterschieden. Directed-Evolution-Screenings mutieren jeweils nur eine Handvoll Reste; ein führendes akademisches Projekt testete einige tausend SOX2-Mutanten für einen bescheidenen Dreifachmutanten-Gewinn, und 15 Jahre chimärer SOX-Forschung brachten Varianten mit nur fünf abweichenden Resten hervor.

Eine promptgesteuerte generative Schnittstelle erschließt einen völlig anderen Bereich eines Raums mit 10^1000 möglichen Varianten. Statt eine bekannte Sequenz zu verändern, schlägt das Modell entfernte Kandidaten vor, die auf der Eigenschaftsbeschreibung basieren – und das mit Trefferquoten, die einen physischen Screen überstanden. Das ist das konkrete Argument dafür, Proteindesign als Steuerbarkeitsproblem statt als Suchproblem zu behandeln.

Was ein steuerbares, nicht öffentliches Modell für Fachteams bedeutet

OpenAI fasst dies als Geschwindigkeitsgewinn zusammen: 'Wenn Forscher tiefes Fachwissen in unser Sprachmodell-Tooling einbringen, können Probleme, die früher Jahre dauerten, sich in Tagen lösen', sagt Boris Power, der die Forschungspartnerschaften leitet. Der entscheidende Faktor war die Steuerbarkeit – eine Prompt-Schnittstelle, die reichhaltig genug war, dass Retros Wissenschaftler, nicht die Modell-Ingenieure, die Designarbeit vorantrieben.

Die Einschränkungen werden klar benannt und sind für jeden wichtig, der geneigt ist zu verallgemeinern: GPT-4b micro 'wurde für Forschungszwecke entwickelt und ist nicht breit verfügbar', und Sam Altman ist Investor bei Retro Biosciences. Die übertragbare Lehre ist also kein Modell, das man heute einfach nutzen kann. Es ist die Architektur der Zusammenarbeit: ein kleines, fachspezifisch abgestimmtes Modell mit einem Long-Context-Prompt als Oberfläche, wobei die eigentliche Bewertung aus dem Benchmark heraus- und in den Laborversuch hineinverlegt wurde.