Jul, 134 min de leitura
Frontend
News · O benchmark FrontierScience da OpenAI separa respostas de olimpíada de trabalho de pesquisa aberto
Jul, 84 min de leitura
FrontendO benchmark FrontierScience da OpenAI separa respostas de olimpíada de trabalho de pesquisa aberto
Um novo benchmark científico escrito por especialistas dá ao GPT-5.2 77% de acerto em problemas estilo olimpíada, mas apenas 25% em tarefas de pesquisa multietapas avaliadas por rubrica.
Duas trilhas, dois placares bem diferentes
O FrontierScience não é um benchmark, são dois, e essa divisão é o ponto central. A trilha Olimpíada tem 100 perguntas de resposta curta escritas por medalhistas de olimpíadas internacionais, avaliáveis por número, expressão ou correspondência aproximada de texto. A trilha Pesquisa tem 60 subtarefas multietapas escritas por cientistas com PhD e avaliadas por uma rubrica de 10 pontos, na qual uma solução só é considerada correta se atingir pelo menos 7 pontos.
Na trilha Olimpíada, o GPT-5.2 marcou 77%, com o Gemini 3 Pro logo atrás com 76%. Na trilha Pesquisa, o GPT-5.2 marcou 25%. Mesmo modelo, mesmas áreas de física, química e biologia — uma diferença de 52 pontos que reflete a distância entre chegar a uma resposta final verificável e raciocinar corretamente por um problema aberto.
A OpenAI interpreta isso do mesmo jeito que os cientistas já usam essas ferramentas: os modelos já conseguem apoiar raciocínio estruturado, mas ainda são os humanos que formulam o problema e validam o resultado. O número de 25% é o retrato mais honesto do que ainda é difícil.
A rubrica é o verdadeiro feito de engenharia aqui
O ponto mais interessante aqui é a arquitetura de avaliação da trilha Pesquisa. Em vez de pontuar só a resposta final, cada questão vem com uma rubrica de múltiplos itens independentes e avaliáveis objetivamente, somando 10 pontos, e esses itens dão crédito por etapas intermediárias do raciocínio — não só pela conclusão. A rubrica de exemplo em química dá pontos separados por analisar corretamente as limitações da síntese tradicional, descrever a tetramerização mediada por tiolato, interpretar dados de corrente de anel em RMN, e assim por diante.
Isso permite que o benchmark diferencie um modelo que chutou o resultado certo de um que realmente raciocinou até chegar lá, além de permitir análise de falhas etapa por etapa. A OpenAI é direta sobre o trade-off: rubricas com múltiplos componentes em tarefas longas são menos objetivas do que checar apenas uma resposta final.
O detalhe é quem faz a avaliação. Avaliação humana especializada não escala, então as respostas são pontuadas por um avaliador baseado em modelo — o GPT-5 — checando os critérios da rubrica. A rubrica foi projetada de propósito para ser verificável por esse avaliador. Ou seja, um modelo da família GPT está avaliando modelos de fronteira, incluindo seu próprio sucessor, com base em critérios escritos por especialistas. A OpenAI construiu um pipeline de verificação para calibrar dificuldade e correção, mas a dependência de um avaliador baseado em modelo é um ponto estrutural que vale destacar.
Como o benchmark se defende contra contaminação e favorecimento próprio
Duas escolhas de design combatem as objeções mais óbvias. Primeiro, a contaminação: o conjunto completo tem mais de 700 questões, mas apenas 160 estão no conjunto-ouro de código aberto (100 Olimpíada, 60 Pesquisa). O resto fica reservado justamente para acompanhar a contaminação ao longo do tempo.
Segundo, o favorecimento próprio durante a construção. A criação das tarefas incluiu uma seleção contra os modelos internos da OpenAI — questões que os modelos já resolviam foram descartadas. A OpenAI afirma abertamente que isso deveria enviesar a avaliação contra seus próprios modelos em relação aos concorrentes. Essa admissão importa quando se lê a colocação de topo do GPT-5.2, já que o Gemini 3 Pro praticamente empatou na trilha Olimpíada apesar desse viés.
A escala do envolvimento de especialistas é concreta: 42 ex-medalhistas ou treinadores nacionais contribuindo com 109 medalhas de olimpíadas para a trilha Olimpíada, e 45 doutorandos, pós-doutorandos e professores para a trilha Pesquisa, cobrindo áreas que vão da eletrodinâmica quântica à química orgânica sintética e biologia evolutiva. As tarefas passaram por quatro etapas — Criação, Revisão, Resolução, Revisão final — com revisão cruzada independente entre especialistas.
O que o placar de 25% na trilha Pesquisa diz para quem constrói produtos
Para equipes que aplicam modelos em trabalho científico real, o sinal útil não é o 77% de manchete, mas o formato das falhas. A OpenAI relata que, nas transcrições, os modelos de fronteira cometeram erros de raciocínio, lógica e cálculo, entenderam mal conceitos de nicho e produziram imprecisões factuais. Mais tempo de raciocínio aumentou a precisão tanto do GPT-5.2 quanto do o3, o que sugere que algumas falhas têm a ver com limite de computação, não de capacidade.
Os limites declarados demarcam o alcance da afirmação: o FrontierScience usa enunciados de problemas restritos, não testa geração de hipóteses e não toca em vídeo, outras modalidades ou sistemas experimentais reais. Ele mede raciocínio sobre problemas escritos por especialistas, não como a ciência de fato é feita. A trajetória do GPQA — GPT-4 com 39% em novembro de 2023, GPT-5.2 com 92% dois anos depois — é o motivo pelo qual a OpenAI espera que esse benchmark também sature, e por isso a avaliação por rubrica da trilha Pesquisa existe para ganhar margem de manobra.
A implicação prática do FrontierScience é bem específica: ele oferece uma forma de ver, etapa por etapa, onde o raciocínio de química ou física de um modelo trava no meio da derivação, em vez de mostrar só se ele chegou à resposta final certa. Essa é a resolução que equipes aplicadas precisam se quiserem confiar em um modelo numa subtarefa de pesquisa — e o placar de 25% é um alerta direto contra confiar nele sem supervisão nas tarefas abertas.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que consiga construir de verdade?
Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.
Leituras relacionadas
Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.