Jul, 134 min de leitura
Plataforma
News · O GDPval da OpenAI compara modelos de fronteira com profissionais de 14 anos de experiência em 44 profissões
Jul, 84 min de leitura
PlataformaO GDPval da OpenAI compara modelos de fronteira com profissionais de 14 anos de experiência em 44 profissões
Um benchmark construído a partir de dados do PIB até chegar em tarefas individuais de trabalho — e um em que o modelo de uma concorrente saiu na frente.
Construindo um benchmark a partir do PIB
A maioria dos benchmarks parte do que se pode pedir a um modelo. O GDPval faz o caminho inverso: parte de onde está o valor econômico e chega até o modelo. A OpenAI começou pelos nove setores dos EUA que respondem por mais de 5% do PIB cada (com dados do Federal Reserve Bank of St. Louis), pegou as cinco ocupações com maior salário em cada um deles a partir do relatório de emprego ocupacional do BLS de maio de 2024, e depois filtrou para ocupações que são pelo menos 60% trabalho de conhecimento segundo as classificações de tarefas do O*NET.
Esse funil resultou em 44 profissões, passando por desenvolvedores de software, advogados, enfermeiros registrados, engenheiros mecânicos, farmacêuticos, analistas financeiros e editores de filme. O conjunto completo tem 1.320 tarefas — 30 por profissão — com 220 (cinco por profissão) liberadas como um conjunto aberto de referência.
As tarefas em si não são prompts de texto. Cada uma vem com arquivos de referência e espera entregáveis reais: documentos, slides, diagramas, planilhas, multimídia. O exemplo publicado de engenheiro de manufatura pede o design conceitual de um dispositivo de fixação (jig) feito em software de modelagem 3D e entregue em PDF montado a partir de capturas de PowerPoint. Cada tarefa foi escrita por profissionais com média de 14 anos de experiência e passou por cerca de cinco rodadas de revisão especializada.
Avaliação cega, e uma concorrente no topo
A avaliação depende de revisores especialistas das mesmas profissões comparando a saída do modelo com a solução do próprio autor da tarefa — de forma cega, sem saber qual entregável é humano. Cada saída de modelo é classificada como melhor, igual ou pior que o trabalho humano, guiada por rubricas específicas de cada profissão criadas pelos autores das tarefas.
A OpenAI testou isso com GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro e Grok 4. O resultado notável: o Claude Opus 4.1, modelo da Anthropic, foi o melhor desempenho, avaliado como igual ou melhor que especialistas em quase metade das tarefas, se destacando em aspectos estéticos como formatação e layout. O GPT-5 liderou em precisão, especialmente em conhecimento específico de domínio.
Publicar um benchmark em que uma rival vence é algo raro, e isso reposiciona o GDPval como uma jogada de plataforma, não de marketing. A OpenAI está liberando o subconjunto de tarefas de referência e um serviço público de avaliação — incluindo um avaliador automático experimental treinado para prever julgamentos de especialistas, que a própria empresa afirma não ser confiável o suficiente ainda para substituir avaliadores humanos.
Interpretando a afirmação de 100x
A OpenAI relata que modelos de fronteira completam as tarefas do GDPval cerca de 100 vezes mais rápido e 100 vezes mais barato do que especialistas do setor. A empresa acrescenta uma ressalva incomumente direta: esses números refletem apenas o tempo de inferência do modelo e as taxas de cobrança da API, não a supervisão humana, a iteração e a integração necessárias para de fato usar essa saída no ambiente de trabalho.
A segunda ressalva é estrutural. O GDPval é de tentativa única. Ele não captura a revisão de uma petição jurídica após feedback do cliente, o ajuste de uma análise após identificar uma anomalia, ou a ambiguidade de decidir se aquele é até o entregável certo. Um advogado, observa a OpenAI, pode precisar conversar com o cliente antes mesmo de saber o que produzir.
Então o 100x é, ao mesmo tempo, um piso de custo e um teto de completude: geração barata de um primeiro artefato, medida contra o output final e único de um profissional, com toda a troca de ida e volta do trabalho real deixada de fora.
O que um benchmark no nível de tarefa deixa para o comprador decidir
A contribuição mais útil do GDPval para equipes aplicadas é a sua granularidade. Ele avalia tarefas, não funções, e a OpenAI é explícita ao dizer que a maioria dos empregos é mais do que uma coleção de tarefas que podem ser escritas em um roteiro. Essa distinção é a própria decisão de compra: o benchmark mostra onde um modelo produz entregáveis comparáveis a especialistas em uma única tentativa, não onde ele consegue tocar um fluxo de trabalho inteiro.
Os experimentos controlados apontam na mesma direção — modelos maiores, mais etapas de raciocínio e contexto de tarefa mais rico geraram ganhos mensuráveis, e um GPT-5 retreinado internamente melhorou ainda mais. Contexto e iteração movem os números, e é exatamente essa a dimensão que a própria OpenAI admite que o GDPval ainda não mede.
A implicação prática dessa versão específica é: usar os resultados do GDPval como um mapa de quais entregáveis pontuais vale a pena direcionar primeiro a um modelo, reservando à parte o orçamento para supervisão, rodadas de revisão e resolução de ambiguidades que o formato de tentativa única deliberadamente deixa de fora. As próximas versões, que prometem interatividade e tarefas ambíguas, serão as que realmente valerão a pena usar como referência para uma implantação real.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que consiga construir de verdade?
Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.
Leituras relacionadas
Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.