Avaliação de enviesamento político da OpenAI decompõe o tom, não apenas os factos

Enviesamento definido como estilo de comunicação, não como crença declarada

A ideia central deste artigo é definir o enviesamento político como algo observável no comportamento da resposta, e não nas posições que o modelo afirma ter. A OpenAI identifica cinco eixos: invalidação do utilizador, escalada com o utilizador, expressão política pessoal, cobertura assimétrica e recusas políticas.

Essa decomposição é relevante porque foca a forma como uma resposta é escrita, não apenas os factos que contém. O artigo é claro: um modelo pode acertar em cada facto e, ainda assim, ser enviesado através de um enquadramento unilateral, de evidências seletivas ou de uma linguagem que amplifica a inclinação do utilizador.

O enviesamento humano não é apenas "aquilo em que se crê"; é também a forma como se comunica, através do que é enfatizado, omitido ou sugerido. O mesmo se aplica aos modelos.Montana Labs

O exemplo prático torna isto concreto. Uma resposta 'enviesada' a uma pergunta sobre despesas com a guerra obteve 0,67, impulsionada por 0,75 na expressão política pessoal e 0,75 na cobertura assimétrica — incluindo uma frase final que validava o utilizador ('o facto de estar a perguntar isto mostra que está atento'). A resposta de referência abordou temas semelhantes, mas obteve 0,00 por atribuir os argumentos a terceiros em vez de os adotar.

Um avaliador de LLM ancorado em respostas de referência

A avaliação é feita com cerca de 500 prompts distribuídos por 100 tópicos, cada um escrito a partir de cinco perspetivas: liberal carregada, liberal neutra, neutra, conservadora neutra e conservadora carregada. Os tópicos derivam de programas de partidos norte-americanos e de temas culturalmente sensíveis, como educação parental e papéis de género.

A classificação é feita por um avaliador de LLM com instruções específicas para cada eixo, recorrendo a respostas de referência escritas por humanos para validar as pontuações do avaliador durante o processo iterativo. Trata-se de um modelo a avaliar outro modelo segundo uma grelha de critérios — uma abordagem que a OpenAI espera poder aplicar a qualquer modelo, não apenas aos seus.

A grelha é deliberadamente rigorosa: mesmo as respostas de referência não obtêm zero. Esse enquadramento evita que os números absolutos sejam interpretados como um atestado de isenção total e posiciona a avaliação como um indicador de acompanhamento ao longo do tempo, e não como um critério de aprovação/reprovação.

A assimetria revelada pelos testes de stress

Os resultados principais: comportamento praticamente objetivo em prompts neutros ou ligeiramente inclinados, enviesamento moderado nos que são emocionalmente carregados. O GPT-5 instant e o GPT-5 thinking reduzem o enviesamento em cerca de 30% face ao GPT-4o e ao o3, e mantêm um desempenho mais estável em prompts carregados. As pontuações de pior caso para os modelos mais antigos foram 0,138 para o o3 e 0,107 para o GPT-4o.

Uma conclusão destaca-se porque a OpenAI a afirma sem rodeios: prompts liberais fortemente carregados afetam mais a objetividade do que prompts conservadores carregados, em todas as famílias de modelos. Trata-se de uma admissão direcionada, não de uma afirmação simétrica de 'ambos os lados', e identifica onde reside o trabalho ainda por fazer.

A OpenAI aplicou também o método ao tráfego em produção e estima que menos de 0,01% das respostas do ChatGPT apresentam sinais de enviesamento político — atribuindo essa taxa reduzida tanto à raridade de perguntas inclinadas por parte dos utilizadores como à robustez do modelo. É de notar que a pesquisa na web está fora do âmbito desta análise, pelo que a recolha e a seleção de fontes não estão incluídas nestes números.

O que uma grelha divulgada oferece às equipas que constroem sobre estes modelos

A conclusão prática para quem lança um produto de chat é que os cinco eixos são primitivas de medição reutilizáveis. Escalada, invalidação e cobertura assimétrica são os mesmos tipos de falha que surgem no apoio ao cliente, na saúde e em qualquer domínio onde um modelo reflita de volta o enquadramento carregado de um utilizador.

A OpenAI não chega a divulgar o conjunto de prompts nem o código do avaliador, mas as definições operacionais e as instruções do avaliador são suficientemente específicas para permitir a sua reimplementação. Uma equipa pode construir as suas próprias respostas de referência para o seu domínio específico e avaliar com base nelas, em vez de depender de testes de escolha múltipla como o Political Compass, que o artigo critica por ser demasiado limitado.

A implicação concreta: a avaliação mostra que o enviesamento se concentra num pequeno conjunto de comportamentos mensuráveis sob pressão adversarial, o que significa que pode ser monitorizado continuamente e corrigido de forma pontual — e qualquer equipa que use o GPT-5 numa função voltada para o utilizador tem agora um retrato documentado de onde a objetividade se degrada e um modelo para a medir no seu próprio tráfego.