A OpenAI transformou o ranking de 1.000 pessoas em uma única mudança adotada no Model Spec

O que a pesquisa realmente mediu

A OpenAI recrutou cerca de 1.000 participantes de 19 países — um terço nos EUA, com outros no México, África do Sul, Holanda, Chile, Reino Unido, Índia, Quênia e Japão — e pediu que classificassem quatro respostas candidatas a prompts em áreas sensíveis a valores. Os participantes não leram o documento do Model Spec em si. Eles avaliaram prompts e respostas pré-selecionados, os classificaram, explicaram suas escolhas, avaliaram rubricas e escreveram as próprias.

Três das quatro respostas por prompt foram geradas para abranger diferentes opiniões realistas; a quarta veio do GPT-4o. Esse desenho importa: o feedback é moldado pelos prompts que a OpenAI escolheu e pelas respostas que mostrou. A própria empresa admite isso, listando a seleção de prompts e o critério de inclusão baseado em leitura em inglês como fontes de viés de seleção.

Para comparar as classificações humanas com o Spec escrito, a OpenAI criou um Model Spec Ranker — um modelo de raciocínio instruído a classificar as mesmas quatro respostas de acordo com o Spec. Usando o GPT-5 Thinking, as pessoas concordaram com esse ranker cerca de 80% das vezes em média, com a maior concordância em honestidade, humildade, justiça e objetividade.

As divergências estavam todas nos limites da liberdade de expressão

Onde humanos e o ranker divergiram, as discordâncias se concentraram em um conjunto previsível de áreas: conteúdo político, conteúdo sexual ou gráfico e críticas a pseudociência ou teorias da conspiração. Esses são exatamente os domínios em que um único comportamento padrão é mais difícil de justificar, e onde a própria OpenAI admite que nenhum padrão vai satisfazer todo mundo.

A OpenAI classificou as propostas em duas categorias. Esclarecimentos são casos em que o comportamento desejado por um participante se encaixa nos princípios existentes, mas o texto deixava espaço para interpretação. Mudanças de princípio são casos em que o comportamento desejado entra em conflito com os princípios do Spec. A empresa foi clara ao dizer que a adoção fica mais difícil quanto mais alto na hierarquia de instruções uma mudança se encaixaria — especialmente no nível da plataforma.

Uma mudança aprovada, duas adiadas

O resultado concreto é limitado. Uma mudança adotada esclarece que conteúdo político criado para um público amplo ou não especificado é permitido independentemente do tema ou assunto — incluindo um político, partido ou campanha específicos — desde que não explore características de um indivíduo ou grupo demográfico específico. Isso é um ajuste de texto, não um novo princípio.

As duas mudanças mais desejadas pelos participantes não foram adotadas. Muitos preferiam conteúdo político mais personalizado; a OpenAI recusou, citando riscos de segmentação política individualizada em larga escala e dúvidas sobre se os participantes tinham considerado esses riscos. Uma grande parcela apoiava permitir conteúdo erótico entre adultos que consentem; a OpenAI disse que isso está alinhado com sua posição pretendida anteriormente, mas que ainda é preciso mais pesquisa e trabalho de produto antes de implementar.

Os participantes julgaram diferenças de comportamento de forma isolada, sem ponderar trocas entre princípios (por exemplo, conteúdo erótico sem considerar a segurança infantil ou a dependência emocional).Montana Labs

Essa limitação explica a diferença entre o que a maioria preferia e o que a OpenAI adotou. A pesquisa captou preferências isoladas; a revisão interna ponderou isso contra política de segurança, restrições de implementação e danos posteriores que o conjunto de dados não conseguia captar.

Dois ciclos, e uma admissão honesta sobre legitimidade

A OpenAI testou duas formas de transformar classificações em propostas. Um ciclo totalmente automatizado usava um modelo de raciocínio para identificar discordâncias, propor edições no Spec e testá-las com o Model Spec Ranker para verificar se a concordância melhorava. Um ciclo liderado por humanos tinha um pesquisador propondo atualizações após revisar as preferências, validadas por um modelo que julgava se as justificativas em texto livre sustentavam a intenção.

O ciclo liderado por humanos captou nuances que o automatizado não percebeu — em um caso, inferindo intenção suicida indireta que a maioria valorizaria — mas isso não escala. O ciclo automatizado escala, mas fica ancorado na interpretação do ranker, o que significa que os resultados mudam conforme o modelo-base usado.

A parte mais honesta do relatório é a preocupação com legitimidade que a própria equipe levanta contra si mesma: um processo de atualização com muitas partes automatizadas pode não ter legitimidade suficiente, já que essas partes são mais difíceis para humanos interpretarem. Essa é a verdadeira tensão nesse anúncio. A OpenAI está construindo um mecanismo para canalizar a preferência pública para os padrões da plataforma, e está admitindo que os próprios resultados desse mecanismo precisam de interpretação humana para serem confiáveis.

Por que os adiamentos são o sinal, não as adoções

Para equipes que constroem sobre os modelos da OpenAI, o principal aprendizado não é o único esclarecimento sobre conteúdo político. É o teto demonstrado de até onde a preferência da maioria consegue mover um padrão de plataforma. A OpenAI fez uma pesquisa global, encontrou apoio majoritário para permitir conteúdo erótico, confirmou que isso batia com a própria posição pretendida pela empresa — e mesmo assim não lançou nenhuma mudança, aguardando pesquisa e trabalho de produto.

Isso estabelece um precedente prático: a opinião pública pode validar e esclarecer o Spec, mas mudanças relevantes no nível da plataforma continuam bloqueadas por revisão interna de segurança e viabilidade de implementação. Se você está planejando algo em torno do comportamento padrão futuro em áreas polêmicas, planeje em torno desse bloqueio, não em torno do sentimento da pesquisa. O conjunto de dados está público no HuggingFace, então as discordâncias podem ser verificadas — mas a decisão de agir sobre elas continua sendo só da OpenAI.