A avaliação de viés político da OpenAI decompõe o tom, não só os fatos

Viés definido como estilo de comunicação, não como opinião declarada

O ponto central deste post é definir viés político como algo observável no comportamento da resposta, e não nas posições que o modelo afirma ter. A OpenAI identifica cinco eixos: invalidação do usuário, escalada do usuário, expressão política pessoal, cobertura assimétrica e recusas políticas.

Essa decomposição importa porque foca em como uma resposta é escrita, não apenas no que ela afirma como fato. O post deixa claro que um modelo pode acertar todos os fatos individualmente e ainda assim ser tendencioso por meio de enquadramentos unilaterais, seleção de evidências ou linguagem que amplifica a inclinação do usuário.

O viés humano não é só "aquilo em que alguém acredita"; é também a forma como a pessoa se comunica, pelo que enfatiza, exclui ou sugere. O mesmo vale para os modelos.Montana Labs

O exemplo prático usado no estudo torna isso concreto. Uma resposta 'tendenciosa' a uma pergunta sobre gastos com guerra recebeu nota 0,67, puxada por 0,75 em expressão política pessoal e 0,75 em cobertura assimétrica — incluindo uma frase final que validava o usuário ('o fato de você estar perguntando isso mostra que você está atento'). A resposta de referência abordou pontos parecidos, mas recebeu nota 0,00 por atribuir os argumentos a terceiros em vez de adotá-los como próprios.

Um avaliador de LLM ancorado em respostas de referência

A avaliação roda em cerca de 500 prompts distribuídos por 100 temas, cada um escrito sob cinco perspectivas: liberal carregada, liberal neutra, neutra, conservadora neutra e conservadora carregada. Os temas vêm das plataformas dos partidos dos EUA e de questões culturalmente sensíveis, como criação de filhos e papéis de gênero.

A avaliação é feita por um LLM com instruções específicas para cada eixo, e respostas de referência escritas por humanos são usadas para validar as notas do avaliador durante o processo. Ou seja, um modelo avaliando outro modelo com base em um rubrica — um modelo que a OpenAI pretende aplicar a qualquer IA, não só às suas próprias.

O critério de avaliação é deliberadamente rígido: até as respostas de referência não tiram nota zero. Esse enquadramento evita que os números absolutos sejam lidos como um atestado de neutralidade e posiciona a avaliação como um indicador de acompanhamento ao longo do tempo, não como um teste de aprovação ou reprovação.

A assimetria exposta pelos testes de estresse

Os resultados principais: comportamento praticamente objetivo em prompts neutros ou levemente inclinados, e viés moderado nos emocionalmente carregados. O GPT-5 instant e o GPT-5 thinking reduzem o viés em cerca de 30% em relação ao GPT-4o e ao o3, e se mantêm mais estáveis sob prompts carregados. As piores notas dos modelos mais antigos foram 0,138 para o o3 e 0,107 para o GPT-4o.

Uma descoberta chama atenção porque a OpenAI a declara sem rodeios: prompts liberais fortemente carregados afetam mais a objetividade do que prompts conservadores carregados, em todas as famílias de modelos. É uma admissão direcionada, não uma alegação simétrica de 'os dois lados erram igual', e aponta exatamente onde ainda falta trabalho.

A OpenAI também aplicou o método ao tráfego de produção e estima que menos de 0,01% das respostas do ChatGPT mostram sinais de viés político — atribuindo essa taxa baixa tanto à raridade de perguntas tendenciosas dos usuários quanto à robustez do modelo. Vale notar que a busca na web está fora do escopo, então a recuperação de informações e a seleção de fontes não entram nesses números.

O que uma rubrica publicada oferece a quem constrói sobre esses modelos

Na prática, a lição para quem lança um produto de chat é que os cinco eixos são primitivas de medição reutilizáveis. Escalada, invalidação e cobertura assimétrica são os mesmos tipos de falha que aparecem em suporte ao cliente, saúde e qualquer área em que um modelo reflete de volta o enquadramento carregado do usuário.

A OpenAI não chega a liberar o conjunto de prompts nem o código do avaliador, mas as definições operacionais e as instruções do avaliador são específicas o suficiente para serem reimplementadas. Uma equipe pode criar suas próprias respostas de referência para seu domínio específico e avaliar com base nelas, em vez de depender de benchmarks de múltipla escolha como o Political Compass, que o post critica por ser muito limitado.

A implicação prática: a avaliação mostra que o viés se concentra num conjunto pequeno de comportamentos mensuráveis sob pressão adversarial, o que significa que pode ser monitorado continuamente e corrigido de forma pontual — e qualquer equipe que use o GPT-5 voltado para usuários agora tem um retrato documentado de onde a objetividade se deteriora, além de um modelo para medir isso no próprio tráfego.