Jul, 134 min de leitura
Frontend
News · O LifeSciBench da OpenAI avalia respostas científicas abertas com base em 19.020 critérios de avaliação definidos por especialistas
Jul, 84 min de leitura
FrontendO LifeSciBench da OpenAI avalia respostas científicas abertas com base em 19.020 critérios de avaliação definidos por especialistas
O benchmark abandona o formato de escolha múltipla em favor de pedidos abertos, típicos de um colaborador, e avalia-os linha a linha — os resultados revelam onde os modelos de fronteira ainda ficam a meio caminho.
O pedido substitui a pergunta
A maioria das avaliações em ciências da vida, segundo a OpenAI, reduz a investigação a problemas de memorização de factos ou de previsão com formatos estruturados e respostas de referência bem definidas. O LifeSciBench abandona esse molde. Cada uma das suas 750 tarefas é construída para se parecer com algo que um cientista diria a um colega competente: um pedido científico, qualquer contexto relevante ou ficheiros anexados, e uma resposta em texto livre.
O exemplo publicado torna o formato concreto. Uma equipa que se prepara para uma reunião de Tipo B com a FDA pede uma 'crítica sem rodeios' sobre se o seu pacote AAV9 de micro-distrofina sustenta uma aprovação acelerada com base num endpoint substituto. O pedido fornece valores de Western blot de biópsia, leituras de imunofluorescência, uma alteração NSAA às 48 semanas, eventos de segurança e critérios de elegibilidade, e depois pede ao modelo que teste o pacote item a item. Não há uma resposta de caixa a marcar — espera-se que o resultado se leia como o parecer de um revisor.
Trata-se de uma decisão de interface deliberada. Ao enquadrar o input como um pedido de trabalho real e não como um item de teste, o LifeSciBench mede se um modelo consegue operar dentro da vertente mais desordenada da investigação — provas incompletas, resultados contraditórios, decisões sob incerteza — em vez da versão simplificada que os benchmarks costumam testar.
Uma avaliação que espelha o modo como os cientistas se julgam entre si
A outra metade deste design é a grelha de critérios. Em todo o benchmark, as grelhas desenvolvidas por especialistas somam 19.020 critérios — uma média de 25 por tarefa. O exemplo da DMD é avaliado com base em seis critérios ponderados que totalizam 100 pontos, sendo 24 pontos para identificar os problemas de quantificação do ensaio (partilha do epítopo MANEX1A, padrões inválidos de distrofina de comprimento total), 22 para explicar por que motivo o nível de expressão não é automaticamente um substituto clínico válido, e apenas 8 para assinalar lacunas na seleção de pacientes e no tamanho da amostra.
A justificação apresentada pela OpenAI é que uma conclusão de alto nível correta ainda pode ser considerada incompleta — se a resposta ignorar uma limitação chave do ensaio ou não levantar uma nuance biológica relevante. Por outro lado, uma resposta parcial pode conter um raciocínio de elevada qualidade sem resolver a tarefa. O benchmark reporta duas métricas para captar isto: a taxa de aprovação, a percentagem de tarefas que atingem um limiar de 70% ao nível da tarefa, e a pontuação, a recompensa média da grelha que concede crédito parcial.
Os números de validação sugerem que o formato se sustenta. O feedback veio de 453 revisores que não participaram na elaboração das tarefas; 97% tinham doutoramento, com uma média de 12 anos de experiência e 14 publicações revistas por pares. A concordância superou os 96% em todas as categorias, com 90,4% a concordar fortemente que as tarefas refletem o trabalho real.
A lacuna dos ficheiros anexados
O resultado mais revelador situa-se na interseção entre o pedido e os seus anexos. O LifeSciBench inclui 1.062 ficheiros anexados — figuras, PDFs, tabelas, ficheiros de sequências, ficheiros de estrutura e química, referências web — e 53% das tarefas exigem interpretar ou sintetizar pelo menos um deles.
O desempenho cai de forma acentuada quando os modelos têm de interpretar esses ficheiros em vez de apenas o texto do pedido. O GPT-Rosalind desce de 45,1% em tarefas apenas com texto para 28,1% quando estão envolvidos ficheiros ou URLs; o GPT-5.5 apresenta o mesmo padrão, de 29,9% para 21,9%. A OpenAI atribui esta lacuna à dificuldade dos modelos em extrair informação de figuras complexas ou de ficheiros de sequências extensos e integrá-la na resposta final.
Os formatos de resultado exato são ainda piores. O GPT-Rosalind atinge apenas 14,8% em tarefas numéricas e 24,0% em resultados de sequência ou estrutura, com as tarefas de geração de construtos em 27,3% e uma melhoria quase nula em relação ao GPT-5.5. São estes os resultados que seriam usados diretamente — design de doadores CRISPR/HDR, design de siRNA — onde um pequeno deslize de formatação ou de cálculo faz a resposta cair abaixo do limiar.
O crédito parcial não é um resultado utilizável
O GPT-Rosalind eleva a taxa de aprovação exata global de 25,7% para 36,1%, com os maiores ganhos em comunicação científica (56,3% para 71,1%, embora com n=9) e em tradução (36,8% para 57,7%). São estas as categorias com uma fronteira de evidência clara, que recompensam a organização e a explicação. Design, otimização e previsão (30,7%) e análise (30,3%) continuam a ser as mais difíceis.
A implicação específica deste design de grelha mais taxa de aprovação está no que revela sobre o espaço entre as duas pontuações. Em cerca de 14% das tarefas, os modelos obtiveram crédito substancial na grelha de critérios apesar de falharem o limiar de aprovação exata; no caso do GPT-Rosalind, 109 tarefas obtiveram uma taxa de aprovação inferior a 20% mas receberam pelo menos 50% da recompensa da grelha. Um modelo pode apresentar as provas certas e escrever uma resposta parcial plausível, e ainda assim falhar uma única condição, usar os dados errados, ou não conseguir ligar o seu raciocínio a uma decisão utilizável.
Para quem constrói sobre estes sistemas, este é o número a reter: uma resposta que parece 50% correta numa grelha de avaliação continua a ser, em termos operacionais, um rascunho inacabado que um cientista tem de auditar. O LifeSciBench mede a interação inicial — pedido à entrada, resposta orientada a especialistas à saída — e o seu veredito é que os modelos de fronteira estão a tornar-se colaboradores persuasivos muito antes de se tornarem colaboradores fiáveis.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que saiba executar?
Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.
Leitura relacionada
Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.