Jul, 134 min de leitura
Plataforma
News · O GDPval da OpenAI avalia modelos de fronteira face a profissionais com 14 anos de experiência em 44 profissões
Jul, 84 min de leitura
PlataformaO GDPval da OpenAI avalia modelos de fronteira face a profissionais com 14 anos de experiência em 44 profissões
Um benchmark construído a partir de dados de PIB até chegar a tarefas individuais de trabalho — e no qual o modelo de um concorrente ficou em primeiro lugar.
Construir um benchmark a partir do PIB
A maioria dos benchmarks parte daquilo que se pode pedir a um modelo. O GDPval parte de onde está o valor económico e trabalha em sentido inverso até chegar ao modelo. A OpenAI começou pelos nove setores dos EUA que representam individualmente mais de 5% do PIB (com base em dados do Federal Reserve Bank of St. Louis), selecionou as cinco profissões com salários mais elevados em cada um, a partir do relatório de emprego ocupacional da BLS de maio de 2024, e depois filtrou para profissões que sejam, pelo menos, 60% trabalho de conhecimento segundo as classificações de tarefas do O*NET.
Esse funil resultou em 44 profissões, incluindo programadores de software, advogados, enfermeiros registados, engenheiros mecânicos, farmacêuticos, analistas financeiros e editores de filme. O conjunto completo tem 1.320 tarefas — 30 por profissão — das quais 220 (cinco por profissão) foram divulgadas como um conjunto aberto de referência.
As tarefas em si não são prompts de texto. Cada uma vem acompanhada de ficheiros de referência e exige entregáveis reais: documentos, apresentações, diagramas, folhas de cálculo, conteúdos multimédia. O exemplo publicado para engenheiro de produção pede a conceção de um gabarito produzido em software de modelação 3D e entregue em PDF, construído a partir de capturas do PowerPoint. Cada tarefa foi escrita por profissionais com uma média de 14 anos de experiência e passou por cerca de cinco rondas de revisão especializada.
Avaliação cega, e um concorrente no topo
A avaliação recorre a revisores especializados das mesmas profissões, que comparam o resultado do modelo com a solução do próprio autor da tarefa — de forma cega, sem saber qual dos entregáveis é humano. Cada resultado de modelo é classificado como melhor, igual ou pior do que o trabalho humano, seguindo grelhas específicas de cada profissão, elaboradas pelos autores das tarefas.
A OpenAI testou isto com o GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro e Grok 4. O resultado mais relevante: o Claude Opus 4.1, um modelo da Anthropic, foi o que teve melhor desempenho, classificado como igual ou superior a especialistas em quase metade das tarefas, destacando-se em aspetos estéticos como formatação e disposição. O GPT-5 liderou em precisão, sobretudo em conhecimento específico de cada domínio.
Publicar um benchmark em que um concorrente vence é pouco habitual, e reposiciona o GDPval como uma iniciativa de plataforma, e não como um gráfico de marketing. A OpenAI está a disponibilizar o subconjunto de tarefas de referência e um serviço público de avaliação — incluindo um avaliador automático experimental, treinado para prever os julgamentos de especialistas, que a empresa afirma explicitamente ainda não ser suficientemente fiável para substituir avaliadores humanos.
Como interpretar a afirmação dos 100x
A OpenAI relata que os modelos de fronteira concluem as tarefas do GDPval cerca de 100 vezes mais rápido e 100 vezes mais barato do que especialistas do setor. A empresa acrescenta uma ressalva inusitadamente direta: esses números refletem apenas o tempo de inferência do modelo e as tarifas de faturação da API, e não a supervisão humana, a iteração e a integração necessárias para de facto utilizar o resultado num contexto de trabalho.
A segunda ressalva é estrutural. O GDPval é de uma única tentativa. Não capta a revisão de uma peça jurídica após feedback do cliente, a iteração de uma análise depois de se detetar uma anomalia, ou a ambiguidade de decidir se um determinado documento é sequer o entregável certo. Um advogado, nota a OpenAI, pode ter de falar primeiro com o cliente antes de saber o que deve produzir.
Assim, os 100x representam, ao mesmo tempo, um piso no custo e um teto na abrangência: geração barata de um primeiro artefacto, comparada com o resultado único e final de um profissional, excluindo todo o vaivém próprio do trabalho real.
O que um benchmark ao nível das tarefas deixa por conta do comprador
O contributo mais útil do GDPval para equipas de aplicação prática é a sua granularidade. Avalia tarefas, não funções, e a OpenAI é explícita ao afirmar que a maioria das funções é mais do que um conjunto de tarefas que se possam descrever por escrito. Essa distinção é o que está em jogo na decisão de compra: o benchmark indica onde um modelo produz entregáveis comparáveis aos de especialistas numa única tentativa, não onde é capaz de assumir um fluxo de trabalho completo.
As experiências controladas apontam na mesma direção — modelos maiores, mais passos de raciocínio e contexto de tarefa mais rico produziram, cada um, ganhos mensuráveis, e um GPT-5 reciclado internamente melhorou ainda mais. O contexto e a iteração é que movem os números, precisamente a dimensão que a OpenAI admite que o GDPval ainda não mede.
A implicação prática desta publicação específica: usar as pontuações do GDPval como um mapa de quais os entregáveis discretos a atribuir primeiro a um modelo, orçamentando em separado a supervisão, as rondas de revisão e a resolução de ambiguidades que o formato de tentativa única deliberadamente omite. As próximas versões, que prometem interatividade e tarefas ambíguas, serão as que valerá a pena usar como referência para uma implementação real.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que saiba executar?
Ajudamos equipas em Portugal a integrar IA em produtos, automatizar processos de alto valor e modernizar os sistemas que suportam o negocio.
Leitura relacionada
Mais análises sobre entrega de produto, AI operacional e o trabalho de sistemas que faz com que a implementação funcione na prática.