Jul, 134 min de leitura
Frontend
News · O benchmark FrontierScience da OpenAI separa respostas de olimpíadas do trabalho de investigação em aberto
Jul, 84 min de leitura
FrontendO benchmark FrontierScience da OpenAI separa respostas de olimpíadas do trabalho de investigação em aberto
Um novo benchmark científico, escrito por especialistas, atribui ao GPT-5.2 uma pontuação de 77% em problemas ao estilo olimpíadas, mas apenas 25% em tarefas de investigação de várias etapas avaliadas por rubrica.
Duas vertentes, duas pontuações muito diferentes
O FrontierScience não é um benchmark, mas dois, e essa divisão é o cerne da questão. A vertente Olimpíada contém 100 perguntas de resposta curta escritas por medalhados em olimpíadas internacionais, avaliáveis por número, expressão ou correspondência aproximada de texto. A vertente Investigação contém 60 subtarefas de várias etapas escritas por cientistas com doutoramento e avaliadas segundo uma rubrica de 10 pontos, em que uma solução só é considerada correta se obtiver pelo menos 7 pontos.
Na vertente Olimpíada, o GPT-5.2 obteve 77%, com o Gemini 3 Pro perto, com 76%. Na vertente Investigação, o GPT-5.2 obteve 25%. O mesmo modelo, os mesmos domínios de física, química e biologia — uma diferença de 52 pontos que reflete a distinção entre chegar a uma resposta final verificável e raciocinar corretamente ao longo de um problema em aberto.
A OpenAI interpreta isto da mesma forma que os cientistas já usam estas ferramentas: os modelos já conseguem apoiar o raciocínio estruturado, mas são ainda os humanos que enquadram o problema e validam o resultado. O valor de 25% é o número mais honesto sobre o que continua a ser difícil.
A rubrica é o verdadeiro feito de engenharia
O aspeto mais interessante aqui é a arquitetura de avaliação da vertente Investigação. Em vez de pontuar apenas a resposta final, cada pergunta vem acompanhada de uma rubrica com vários itens independentes e objetivamente avaliáveis, que totalizam 10 pontos, e esses itens creditam etapas intermédias de raciocínio — não apenas a conclusão. A rubrica de química de exemplo atribui pontos separados por analisar corretamente as limitações da síntese tradicional, descrever a tetramerização mediada por tiolato, interpretar dados de corrente em anel por RMN, entre outros.
Isto permite ao benchmark distinguir um modelo que adivinhou o resultado certo de outro que raciocinou até lá chegar, e possibilita uma análise de falhas ao nível de cada etapa. A OpenAI reconhece o compromisso com clareza: rubricas com vários componentes em tarefas longas são menos objetivas do que verificar apenas uma resposta final única.
A questão está em quem faz a avaliação. A avaliação por especialistas humanos não é escalável, por isso as respostas são pontuadas por um avaliador baseado em modelo — o GPT-5 — que verifica os critérios da rubrica. A rubrica foi deliberadamente concebida para ser verificável por esse avaliador. Ou seja, um modelo da família GPT avalia modelos de fronteira, incluindo o seu próprio sucessor, com base em critérios escritos por especialistas. A OpenAI construiu um pipeline de verificação para calibrar a dificuldade e a correção, mas a dependência de um avaliador baseado em modelo é uma característica estrutural que vale a pena assinalar.
Como o benchmark se protege contra contaminação e autofavorecimento
Duas decisões de design contrariam as objeções mais evidentes. Primeiro, a contaminação: o conjunto completo tem mais de 700 perguntas, mas apenas 160 fazem parte do conjunto de referência disponibilizado em código aberto (100 de Olimpíada, 60 de Investigação). As restantes são reservadas especificamente para monitorizar a contaminação ao longo do tempo.
Segundo, o autofavorecimento durante a construção. A criação das tarefas incluiu uma seleção que penalizava os modelos internos da OpenAI — as perguntas que esses modelos já conseguiam resolver foram descartadas. A OpenAI afirma diretamente que isto deverá enviesar a avaliação contra os seus próprios modelos, em comparação com os da concorrência. Essa admissão é relevante ao interpretar a posição de topo do GPT-5.2, já que o Gemini 3 Pro praticamente empatou no conjunto Olimpíada apesar desse enviesamento.
A escala do envolvimento de especialistas é concreta: 42 antigos medalhados ou treinadores nacionais, contribuindo com 109 medalhas de olimpíadas para a vertente Olimpíada, e 45 doutorandos, pós-doutorandos e professores para a vertente Investigação, abrangendo áreas que vão da eletrodinâmica quântica à química orgânica sintética e à biologia evolutiva. As tarefas passaram por quatro fases — Criação, Revisão, Resolução, Correção — com revisão cruzada independente por especialistas.
O que a pontuação de 25% em Investigação diz aos criadores de produtos
Para as equipas que implementam modelos em trabalho científico real, o sinal útil não é o valor de destaque de 77%, mas o padrão das falhas. A OpenAI reporta que, nas transcrições, os modelos de fronteira cometeram erros de raciocínio, lógica e cálculo, interpretaram mal conceitos de nicho e produziram inexatidões factuais. Um maior tempo de raciocínio aumentou a precisão tanto do GPT-5.2 como do o3, o que sugere que algumas falhas estão limitadas pela capacidade computacional, e não pela capacidade do modelo em si.
Os limites indicados definem a fronteira da afirmação: o FrontierScience usa enunciados de problemas restritos, não testa a geração de hipóteses e não aborda vídeo, outras modalidades ou sistemas experimentais reais. Mede o raciocínio sobre problemas escritos por especialistas, não a forma como a ciência realmente se faz. A trajetória do GPQA — o GPT-4 com 39% em novembro de 2023, o GPT-5.2 com 92% dois anos depois — é a razão pela qual a OpenAI espera que este benchmark também venha a saturar, e é por isso que existe a avaliação por rubrica na vertente Investigação, para ganhar margem.
A implicação prática do FrontierScience é específica: proporciona uma forma de identificar, etapa a etapa, onde o raciocínio de química ou física de um modelo falha a meio da derivação, em vez de apenas verificar se chegou à resposta final correta. É essa resolução que as equipas aplicadas precisam se quiserem confiar num modelo numa subtarefa de investigação — e a pontuação de 25% é um aviso direto contra confiar nele sem supervisão nas tarefas em aberto.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que saiba executar?
Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.
Leitura relacionada
Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.