A GPT-4b micro da OpenAI transforma o design de proteínas em um problema de prompt

O que os cientistas da Retro realmente operaram

A OpenAI e a Retro Bio criaram a GPT-4b micro, uma versão miniaturizada da GPT-4o, inicializada a partir de uma base reduzida e depois treinada majoritariamente com sequências de proteínas, além de texto biológico e dados de estrutura 3D tokenizados. O objetivo dessa combinação não era precisão bruta de previsão; era tornar o modelo algo que um cientista pudesse guiar.

Boa parte dos dados de treinamento foi enriquecida com informação contextual — descrições textuais de proteínas, sequências homólogas coevolutivas e grupos de proteínas conhecidas por interagir entre si. Esse enriquecimento é o que permitiu que o modelo 'fosse instruído por prompt a gerar sequências com propriedades específicas desejadas'. Na prática, a interface com a qual a equipe da Retro trabalhou era um prompt: descreva a propriedade que você quer e receba sequências candidatas.

Como a maior parte dos dados não tinha estrutura definida, o modelo lidava tão bem com proteínas intrinsecamente desordenadas quanto com as estruturadas — o que foi relevante aqui, já que os fatores Yamanaka KLF4 e SOX2 são, em grande parte, não estruturados, com braços flexíveis que se ligam a outras proteínas em vez de se enrolar em uma forma estável única.

A janela de contexto de 64 mil tokens é a verdadeira história da interface

Treinar com proteínas envolvidas em contexto evolutivo e funcional estendeu o comprimento efetivo de cada exemplo bem além de uma sequência isolada. A OpenAI relata ter usado prompts de até 64 mil tokens na inferência e ainda assim obtido ganhos de controlabilidade e qualidade de saída — um tamanho de contexto que ela classifica como inédito em modelos de sequência de proteínas, embora seja rotina em LLMs de texto.

É nesse detalhe que o enquadramento de 'frontend' se torna literal. Uma janela de contexto grande é o que viabiliza um prompt rico: o cientista pode fornecer descrições, homólogos e parceiros de interação, e o modelo condiciona sua saída a tudo isso. A equipe também observou leis de escala no estilo dos modelos de linguagem — modelos maiores treinados em conjuntos de dados maiores geraram ganhos previsíveis de perplexidade e desempenho em benchmarks —, o que permitiu iterar de forma barata em pequena escala antes de treinar o modelo final.

Por que a demonstração precisou acontecer em um laboratório físico

A OpenAI é incomumente direta sobre os limites das próprias métricas: 'avaliações in silico para modelos de IA de proteínas costumam ter valor limitado, já que não está claro se essas melhorias se traduzem em utilidade real no mundo prático.' Por isso, a validação foi física, feita na plataforma de triagem de fibroblastos da Retro.

No caso do RetroSOX, mais de 30% das sugestões do modelo superaram o SOX2 do tipo selvagem na expressão de marcadores de pluripotência, apesar de diferirem, em média, por mais de 100 aminoácidos — contra taxas de acerto de triagens tradicionais tipicamente abaixo de 10%. No RetroKLF, 14 variantes geradas pelo modelo superaram os melhores coquetéis do RetroSOX, uma taxa de acerto perto de 50%, enquanto o trabalho anterior guiado por especialistas com substituições únicas produziu apenas um acerto em 19.

A combinação das melhores variantes gerou o resultado de destaque: um aumento de 50 vezes nos marcadores de reprogramação em relação aos controles do tipo selvagem, com marcadores tardios aparecendo dias antes. O resultado foi depois validado em múltiplos doadores, tipos celulares e métodos de entrega, incluindo entrega via mRNA em células estromais mesenquimais de doadores com mais de 50 anos, nas quais mais de 30% das células começaram a expressar marcadores-chave em até sete dias.

O sinal profundo de que o prompting supera as triagens de mutação

O número mais relevante para a engenharia não é o 50x. É o fato de que as variantes vencedoras diferiam das proteínas humanas naturais por mais de 100 aminoácidos. As triagens de evolução dirigida mutam poucos resíduos por vez; um esforço acadêmico de destaque testou alguns milhares de mutantes de SOX2 para obter um ganho modesto com um triplo mutante, e 15 anos de trabalho com SOX quimérico resultaram em variantes que diferiam por apenas cinco resíduos.

Uma interface generativa guiada por prompt explora uma região completamente diferente de um espaço de 10^1000 variantes. Em vez de perturbar uma sequência conhecida, o modelo propõe candidatos distantes condicionados à descrição da propriedade desejada — e faz isso com taxas de acerto que se confirmaram numa triagem física. Esse é o argumento concreto para tratar o design de proteínas como um problema de controlabilidade, e não de busca.

O que um modelo controlável e não público significa para equipes de domínio

A OpenAI resume isso em termos de velocidade: 'quando pesquisadores trazem conhecimento profundo de domínio para nossas ferramentas de modelo de linguagem, problemas que antes levavam anos podem se resolver em dias', diz Boris Power, responsável pelas parcerias de pesquisa. O fator que viabilizou isso foi a controlabilidade — uma interface de prompt rica o suficiente para que os cientistas da Retro, e não engenheiros de modelo, conduzissem o trabalho de design.

As ressalvas são ditas com clareza e importam para quem for tentado a generalizar: a GPT-4b micro 'foi desenvolvida para fins de pesquisa e não está amplamente disponível', e Sam Altman é investidor da Retro Biosciences. Então a lição replicável não é um modelo que você pode chamar hoje. É a arquitetura da colaboração: um modelo pequeno, ajustado ao domínio, com uma interface de prompt de contexto longo na frente, e a avaliação real deslocada do benchmark para o ensaio de laboratório.