OpenAI transforma o design de proteínas num problema de prompting com o GPT-4b micro

O que os cientistas da Retro operaram, na prática

A OpenAI e a Retro Bio construíram o GPT-4b micro, uma versão em miniatura do GPT-4o, inicializada a partir de uma base reduzida e depois treinada principalmente com sequências de proteínas, além de texto biológico e dados de estrutura 3D tokenizados. O objetivo dessa combinação não era a precisão bruta de previsão; era tornar o modelo algo que um cientista pudesse orientar.

Uma grande parte dos dados de treino foi enriquecida com informação contextual — descrições textuais de proteínas, sequências homólogas co-evolutivas e grupos de proteínas conhecidas por interagirem entre si. Esse enriquecimento é o que permitiu ao modelo 'ser instruído por prompt a gerar sequências com propriedades específicas desejadas'. Na prática, a interface com que a equipa da Retro trabalhou era um prompt: descrever a propriedade pretendida e receber sequências candidatas em resposta.

Como a maior parte dos dados não tinha estrutura definida, o modelo lidou tão bem com proteínas intrinsecamente desordenadas como com proteínas estruturadas — algo relevante aqui, já que os factores Yamanaka KLF4 e SOX2 são, na sua maioria, desestruturados, com braços flexíveis que se ligam a outras proteínas em vez de se dobrarem numa única forma estável.

O contexto de 64 000 tokens é a verdadeira história da interface

O treino com proteínas envolvidas em contexto evolutivo e funcional alargou o comprimento efetivo de cada exemplo bem além de uma simples sequência isolada. A OpenAI relata ter executado prompts com até 64 000 tokens em inferência, continuando a observar ganhos de controlabilidade e de qualidade nos resultados — uma dimensão de contexto que descreve como inédita em modelos de sequências de proteínas, ainda que habitual em LLMs de texto.

É aqui que o enquadramento de 'frontend' se torna literal. Uma janela de contexto ampla é o que torna possível um prompt rico: o cientista pode fornecer descrições, homólogos e parceiros de interação, e o modelo condiciona o seu resultado a todos esses elementos. A equipa observou também leis de escala do tipo modelo de linguagem — modelos maiores treinados com conjuntos de dados maiores geraram ganhos previsíveis de perplexidade e de desempenho em benchmarks — o que lhes permitiu iterar de forma económica em pequena escala antes de treinar o modelo final.

Porque a demonstração teve de acontecer num laboratório húmido

A OpenAI é inusitadamente direta quanto aos limites das suas próprias métricas: 'as avaliações in silico para modelos de AI de proteínas são frequentemente de valor limitado, pois não é claro se essas melhorias se traduzem em maior utilidade no mundo real'. Por isso, a validação foi física, realizada na plataforma de rastreio de fibroblastos da Retro.

No caso do RetroSOX, mais de 30% das sugestões do modelo superaram o SOX2 do tipo selvagem na expressão de marcadores de pluripotência, apesar de diferirem, em média, em mais de 100 aminoácidos — face a taxas de sucesso tipicamente inferiores a 10% em rastreios tradicionais. No caso do RetroKLF, 14 variantes geradas pelo modelo superaram os melhores cocktails do RetroSOX, uma taxa de sucesso próxima dos 50%, quando o trabalho anterior de substituição única guiado por especialistas produziu apenas um resultado positivo em 19.

A combinação das melhores variantes produziu o resultado principal: um aumento de 50 vezes nos marcadores de reprogramação em relação aos controlos do tipo selvagem, com marcadores tardios a surgirem dias mais cedo. O resultado foi posteriormente validado em múltiplos doadores, tipos de células e métodos de entrega, incluindo a entrega de mRNA em células estromais mesenquimais de doadores com mais de 50 anos, onde mais de 30% das células começaram a expressar marcadores-chave em apenas sete dias.

O sinal de edição profunda que mostra que o prompting supera os rastreios de mutação

O número mais relevante em termos de engenharia não é o factor de 50 vezes. É o facto de as variantes vencedoras diferirem das proteínas humanas naturais em mais de 100 aminoácidos. Os rastreios de evolução dirigida mutam apenas um punhado de resíduos de cada vez; um esforço académico de referência testou alguns milhares de mutantes de SOX2 para obter um ganho modesto com uma tripla mutação, e 15 anos de trabalho com SOX quimérico produziram variantes que diferiam apenas em cinco resíduos.

Uma interface generativa orientada por prompt explora uma região completamente diferente de um espaço de 10^1000 variantes. Em vez de perturbar uma sequência conhecida, o modelo propõe candidatos distantes condicionados pela descrição da propriedade pretendida — e fá-lo com taxas de sucesso que resistiram a um rastreio físico. Este é o argumento concreto para tratar o design de proteínas como um problema de controlabilidade e não como um problema de busca.

O que significa um modelo controlável e não público para equipas de domínio

A OpenAI enquadra isto em termos de velocidade: 'quando os investigadores trazem conhecimento profundo do domínio para as nossas ferramentas de modelos de linguagem, problemas que antes demoravam anos podem resolver-se em dias', afirma Boris Power, responsável pelas parcerias de investigação. O elemento facilitador específico foi a controlabilidade — uma interface de prompt suficientemente rica para que os cientistas da Retro, e não engenheiros de modelos, conduzissem o trabalho de design.

As ressalvas são afirmadas com clareza e são importantes para quem esteja tentado a generalizar: o GPT-4b micro 'foi desenvolvido para fins de investigação e não está amplamente disponível', e Sam Altman é investidor na Retro Biosciences. Assim, a lição reprodutível não é um modelo que se possa usar hoje. É a arquitetura da colaboração: um modelo pequeno e ajustado ao domínio, com uma interface de prompt de contexto longo, e a avaliação real deslocada do benchmark para o ensaio experimental.