Estudo da OpenAI sobre preconceito baseado em nomes e a funcionalidade Memory que o alimenta

Os nomes introduzidos na interface são o dado em análise

O estudo da OpenAI centra-se no que designa por equidade em primeira pessoa: como o preconceito afeta diretamente o utilizador, e não como uma instituição usa AI (mantém-se o acrónimo em inglês) para triar currículos ou avaliar crédito de terceiros. Essa distinção é importante porque o gatilho é algo que os próprios utilizadores fornecem ao produto.

O sinal em estudo é o nome. Como a OpenAI refere, os utilizadores partilham frequentemente o seu nome para tarefas como redigir e-mails, e o ChatGPT pode reter esse nome entre conversas através da funcionalidade Memory, a menos que esta seja desativada. Ou seja, a pista de identidade em análise não é inferida a partir de metadados — é texto que o utilizador escreveu no frontend e que uma funcionalidade do produto guarda depois.

O exemplo ilustrativo é deliberadamente banal: uma mensagem que diz apenas "olá" recebe como resposta "Olá Jack! Como vão as coisas?" versus "Olá Jill! Como está a correr o teu dia?". A OpenAI assinala que estes exemplos são atípicos e escolhidos a dedo, mas mostram a unidade de análise — mesmos prompts, nomes diferentes, respostas comparadas.

Usar um modelo para auditar outro e manter as conversas privadas

Para estudar milhões de pedidos reais sem os expor, a OpenAI instruiu o GPT-4o a ler as transcrições e a comunicar padrões agregados, em vez das conversas propriamente ditas. O artigo chama a este mecanismo Language Model Research Assistant, ou LMRA, para o distinguir do modelo que gera as conversas.

A fiabilidade desse auditor é irregular, e a OpenAI admite-o. Quanto ao género, os juízos de estereótipo do LMRA coincidiram com os de avaliadores humanos em mais de 90% dos casos; quanto a raça e etnia, a concordância foi menor, e o LMRA detetou menos estereótipos raciais prejudiciais do que estereótipos de género. A OpenAI afirma explicitamente que é preciso mais trabalho, tanto para definir o que é um estereótipo prejudicial como para melhorar a precisão do LMRA.

É uma limitação honesta de se publicar. Significa que os números principais são medidos através de um instrumento cuja calibração varia segundo o eixo demográfico, algo a ter em conta ao ler os resultados como referência.

A tensão da personalização que os números revelam

Nas conotações de género e raça associadas aos nomes, a OpenAI não reporta diferenças na qualidade geral das respostas — as taxas de precisão e de alucinação mantiveram-se consistentes entre grupos. Estereótipos prejudiciais surgiram em cerca de 0,1% do total de casos, com alguns domínios em modelos mais antigos a atingir cerca de 1%. O GPT-3.5 Turbo apresentou o maior preconceito; os modelos mais recentes mantiveram-se abaixo de 1% em todas as tarefas.

O resultado mais interessante para o frontend está nas tarefas abertas. As tarefas mais longas e generativas apresentaram mais estereótipos, e "Escreve uma história" foi o prompt com valores mais altos entre todos os testados. As respostas a nomes com sonoridade feminina apresentaram protagonistas femininas com mais frequência do que as respostas a nomes com sonoridade masculina.

A OpenAI reconhece com franqueza que nem todas estas diferenças são prejudiciais — parte dessa adaptação é exatamente o que os utilizadores desejam, e outra parte não. Esse é o problema de design subjacente a um chatbot personalizado: o produto deve adaptar-se à pessoa, e o mesmo mecanismo que o torna mais responsivo é aquele que pode codificar um estereótipo.

A própria OpenAI enquadra a questão dizendo que a preocupação está na escala, não na experiência individual:

Embora seja improvável que os utilizadores individuais notem estas diferenças, consideramos importante medi-las e compreendê-las, já que até padrões raros podem ser prejudiciais em termos agregados.Montana Labs

O que isto significa quando memória e personalização avançam juntas

A conclusão prática é que a OpenAI integrou esta avaliação baseada em nomes no seu conjunto habitual de avaliações de desempenho de modelos, e afirma que esta irá orientar decisões de implementação em sistemas futuros. A medição da equidade está a ser incorporada nos critérios de lançamento, e não a ficar como um estudo isolado.

Para quem constrói um frontend personalizado, o estudo é um alerta de que as pistas de identidade recolhidas por conveniência — um nome guardado na memória, reutilizado entre sessões — são também a superfície por onde entra um preconceito subtil. O âmbito aqui é deliberadamente restrito: texto em inglês, género binário a partir de nomes comuns nos EUA, quatro raças e etnias, em 66 tarefas e nove domínios. A OpenAI está a partilhar as mensagens de sistema para que investigadores externos possam replicar estas experiências de preconceito em primeira pessoa, o que torna a metodologia reprodutível mesmo onde a sua cobertura é limitada.