Jul, 134 min de leitura
Frontend
News · O LifeSciBench, da OpenAI, avalia respostas científicas abertas com base em 19.020 critérios de correção definidos por especialistas
Jul, 84 min de leitura
FrontendO LifeSciBench, da OpenAI, avalia respostas científicas abertas com base em 19.020 critérios de correção definidos por especialistas
O benchmark abandona o formato de múltipla escolha e passa a lidar com pedidos abertos de colaboração, avaliados linha por linha — e os resultados mostram exatamente onde os modelos de ponta ainda travam.
O pedido substitui a pergunta
Segundo a OpenAI, a maioria das avaliações em ciências da vida reduz a pesquisa a exercícios de memorização de fatos ou previsões bem definidas, com formatos estruturados e respostas de referência arrumadinhas. O LifeSciBench abandona esse molde. Cada uma de suas 750 tarefas é construída para se parecer com algo que um cientista realmente diria a um colega competente: um prompt científico, qualquer contexto relevante ou material anexado, e uma resposta livre.
O exemplo publicado deixa o formato bem concreto. Uma equipe se preparando para uma reunião Tipo B com o FDA pede uma 'crítica sem papas na língua' sobre se o pacote de micro-distrofina AAV9 sustenta uma aprovação acelerada com base em um endpoint substituto. O prompt traz números de Western blot de biópsia, leituras de imunofluorescência, uma variação de 48 semanas na NSAA, eventos de segurança e critérios de elegibilidade, e pede ao modelo que teste o pacote item por item. Não existe resposta de marcar X — o esperado é que a saída se leia como um parecer de revisor.
Essa é uma decisão de interface deliberada. Ao formular a entrada como um pedido de trabalho real em vez de uma questão de prova, o LifeSciBench mede se um modelo consegue operar dentro da confusão real da pesquisa — evidências incompletas, resultados conflitantes, decisões sob incerteza — em vez da versão higienizada que os benchmarks costumam testar.
Uma avaliação que reflete como cientistas se julgam entre si
A outra metade desse design é o critério de correção. No benchmark como um todo, os critérios elaborados por especialistas somam 19.020 pontos de avaliação — uma média de 25 por tarefa. O exemplo de DMD é avaliado com base em seis critérios ponderados que totalizam 100 pontos, sendo 24 pontos para identificar os problemas de quantificação do ensaio (compartilhamento de epítopo MANEX1A, padrões inválidos de distrofina de tamanho completo), 22 para explicar por que o nível de expressão não é automaticamente um substituto clínico válido, e apenas 8 para apontar lacunas de seleção de pacientes e tamanho de amostra.
O motivo apresentado pela OpenAI é que uma conclusão geral correta ainda pode ser considerada incompleta — se a resposta ignora uma limitação importante do ensaio ou deixa de mencionar uma nuance biológica relevante. Por outro lado, uma resposta parcial pode conter um raciocínio de alta qualidade sem resolver a tarefa. O benchmark reporta duas métricas para captar isso: a taxa de aprovação, a proporção de tarefas que atingem o limite de 70% no nível da tarefa, e a pontuação, a recompensa média dos critérios que concede crédito parcial.
Os números de validação sugerem que o formato se sustenta. O feedback veio de 453 revisores que não participaram da criação das tarefas; 97% tinham doutorado, com em média 12 anos de experiência e 14 publicações revisadas por pares. A concordância superou 96% em todas as categorias, com 90,4% concordando fortemente que as tarefas refletem o trabalho real.
A lacuna dos materiais anexados
O resultado mais revelador está na junção entre o prompt e seus anexos. O LifeSciBench inclui 1.062 materiais anexados — figuras, PDFs, tabelas, arquivos de sequência, arquivos de estrutura e química, referências da web — e 53% das tarefas exigem interpretar ou sintetizar pelo menos um deles.
O desempenho cai drasticamente quando os modelos precisam ler esses materiais em vez de apenas o texto do prompt. O GPT-Rosalind vai de 45,1% em tarefas só de texto para 28,1% quando há materiais anexados ou URLs envolvidos; o GPT-5.5 mostra o mesmo padrão, de 29,9% para 21,9%. A OpenAI atribui essa lacuna à dificuldade dos modelos em extrair informação de figuras complexas ou arquivos de sequência extensos e incorporá-la à resposta final.
Nos formatos de saída exata, a situação é ainda piorr. O GPT-Rosalind atinge apenas 14,8% em tarefas numéricas e 24,0% em saídas de sequência ou estrutura, com tarefas de geração de construtos em 27,3% — quase sem melhora em relação ao GPT-5.5. São exatamente as saídas que seriam usadas diretamente — design de doador CRISPR/HDR, design de siRNA — nas quais um pequeno erro de formatação ou cálculo já derruba a resposta abaixo do limite.
Crédito parcial não é um entregável utilizável
O GPT-Rosalind eleva a taxa geral de aprovação exata de 25,7% para 36,1%, com seus maiores ganhos em comunicação científica (de 56,3% para 71,1%, embora com n=9) e tradução (de 36,8% para 57,7%). São as categorias com um limite de evidência bem definido, que recompensam organizar e explicar. Design, otimização e previsão (30,7%) e análise (30,3%) continuam sendo as mais difíceis.
A implicação específica do design deste benchmark, que combina critério de correção e taxa de aprovação, é o que ele revela sobre o espaço entre as duas pontuações. Em cerca de 14% das tarefas, os modelos ganharam crédito substancial nos critérios mas ainda assim falharam no limite de aprovação exata; no caso do GPT-Rosalind, 109 tarefas tiveram taxa de aprovação abaixo de 20%, mas ainda assim receberam pelo menos 50% da recompensa dos critérios. Um modelo pode trazer as evidências certas e escrever uma resposta parcial plausível, e ainda assim deixar passar uma única restrição, usar o dado errado, ou não conseguir conectar seu raciocínio a uma decisão realmente utilizável.
Para quem constrói produtos sobre esses sistemas, esse é o número que precisa entrar na cabeça: uma resposta que parece 50% correta em um critério de avaliação ainda é, na prática, um rascunho inacabado que um cientista precisa revisar. O LifeSciBench mede essa interação inicial — pedido que entra, resposta voltada a especialistas que sai — e o veredito é que os modelos de ponta estão se tornando colaboradores convincentes bem antes de se tornarem colaboradores confiáveis.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que consiga construir de verdade?
Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.
Leituras relacionadas
Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.