A OpenAI transformou a classificação de 1000 pessoas numa única alteração adotada ao Model Spec

O que o inquérito mediu, na prática

A OpenAI recrutou cerca de 1000 participantes residentes em 19 países — aproximadamente um terço nos EUA, com outros no México, na África do Sul, nos Países Baixos, no Chile, no Reino Unido, na Índia, no Quénia e no Japão — e pediu-lhes que classificassem quatro respostas candidatas a instruções em domínios sensíveis a valores. Os participantes não leram o próprio documento do Model Spec. Analisaram instruções e respostas pré-selecionadas, classificaram-nas, justificaram as suas escolhas, pontuaram grelhas de avaliação e escreveram as suas próprias.

Três das quatro respostas por instrução foram geradas para abranger diferentes opiniões realistas; a quarta veio do GPT-4o. Este design é relevante: o feedback é moldado pelas instruções que a OpenAI selecionou e pelas respostas que mostrou. A própria empresa admite isso, apontando a seleção de instruções e um critério de inclusão que exigia leitura em inglês como fontes de enviesamento de seleção.

Para comparar as classificações humanas com o Spec escrito, a OpenAI construiu um Model Spec Ranker — um modelo de raciocínio instruído a classificar as mesmas quatro respostas de acordo com o Spec. Usando o GPT-5 Thinking, as pessoas concordaram com esse classificador cerca de 80% das vezes, em média, com a maior concordância em honestidade, humildade, justiça e objetividade.

As discrepâncias concentraram-se nos limites da liberdade de expressão

Onde os humanos e o classificador divergiram, as discordâncias concentraram-se num conjunto previsível de áreas: conteúdo político, conteúdo sexual ou gráfico, e críticas a pseudociência ou teorias da conspiração. São exatamente os domínios onde um único comportamento predefinido é mais difícil de justificar, e onde a própria OpenAI reconhece que nenhuma opção por defeito vai satisfazer todos.

A OpenAI classificou as propostas em duas categorias. Clarificações são casos em que o comportamento desejado pelo participante se enquadra nos princípios existentes, mas o texto deixava margem para interpretação. Alterações de princípios são casos em que o comportamento desejado entra em conflito com os princípios do Spec. A empresa foi explícita ao afirmar que a adoção se torna mais difícil quanto mais alto na hierarquia de instruções uma alteração se situar — especialmente ao nível da plataforma.

Uma alteração adotada, duas em suspenso

O resultado concreto é limitado. Uma alteração adotada esclarece que conteúdo político criado para um público amplo ou não especificado é permitido independentemente do tema ou assunto — incluindo um político, partido ou campanha específicos — desde que não explore características de um indivíduo ou grupo demográfico em particular. Trata-se de um ajuste de redação, não de um novo princípio.

As duas alterações mais desejadas pelos participantes não foram adotadas. Muitos preferiam conteúdo político mais personalizado; a OpenAI recusou, citando os riscos de segmentação política individualizada em grande escala e dúvidas sobre se os participantes tinham ponderado esses riscos. Uma grande parte apoiava permitir conteúdo erótico entre adultos consentidos; a OpenAI afirmou que isso está alinhado com a sua posição pretendida anteriormente, mas que é necessário mais trabalho de investigação e de produto antes de qualquer implementação.

Os participantes avaliaram as diferenças de comportamento de forma isolada, sem ponderar os compromissos entre princípios (por exemplo, conteúdo erótico sem considerar a segurança infantil ou a dependência emocional).Montana Labs

Essa limitação explica a diferença entre o que a maioria preferia e o que a OpenAI adotou. O inquérito recolheu preferências isoladas; a revisão interna ponderou-as face à política de segurança, a restrições de implementação e a danos posteriores que o conjunto de dados não conseguia captar.

Dois ciclos, e uma admissão honesta sobre legitimidade

A OpenAI testou duas formas de transformar classificações em propostas. Um ciclo totalmente automatizado usava um modelo de raciocínio para detetar discordâncias, propor alterações ao Spec e testá-las com o Model Spec Ranker para verificar se a concordância melhorava. Um ciclo centrado no humano tinha um investigador a propor atualizações depois de analisar as preferências, validadas por um modelo que avaliava se as justificações em texto simples suportavam a intenção.

O ciclo centrado no humano captou nuances que o automatizado não detetou — num caso, inferindo uma intenção suicida indireta que a maioria valorizaria —, mas não é escalável. O ciclo automatizado é escalável, mas fica ancorado à interpretação do classificador, o que significa que os resultados variam com o modelo base utilizado.

A parte mais honesta do relatório é a preocupação com legitimidade que a própria equipa levanta contra si mesma: um processo de atualização com muitas partes automatizadas pode não ter legitimidade suficiente, uma vez que essas partes são mais difíceis de interpretar por humanos. Essa é a verdadeira tensão neste anúncio. A OpenAI está a construir mecanismos para canalizar a preferência pública para os comportamentos predefinidos da plataforma, e está a admitir que os próprios resultados desses mecanismos precisam de interpretação humana para serem credíveis.

Porque é que os adiamentos são o verdadeiro sinal, não as adoções

Para as equipas que constroem sobre os modelos da OpenAI, a principal conclusão prática não é a única clarificação sobre conteúdo político. É o limite demonstrado até onde a preferência da maioria consegue mover um comportamento predefinido da plataforma. A OpenAI realizou um inquérito global, encontrou apoio maioritário para permitir conteúdo erótico, confirmou que isso correspondia à posição que a própria empresa já pretendia adotar — e, ainda assim, não implementou qualquer alteração, ficando esta pendente de investigação e trabalho de produto.

Isto estabelece um precedente prático: o contributo público pode validar e clarificar o Spec, mas mudanças com consequências ao nível da plataforma continuam condicionadas à revisão interna de segurança e à viabilidade de implementação. Se está a planear o comportamento predefinido futuro em domínios controversos, planeie em torno desse condicionamento, não em torno do sentimento do inquérito. O conjunto de dados está público no HuggingFace, pelo que as discordâncias podem ser analisadas — mas a decisão de agir sobre elas continua a ser exclusivamente da OpenAI.