OpenAI lança o gpt-oss-safeguard, um classificador de raciocínio sobre políticas, não um modelo de chat

O que as variantes safeguard fazem, na prática

O gpt-oss-safeguard-120b e o gpt-oss-safeguard-20b são modelos de raciocínio de pesos abertos, pós-treinados a partir dos modelos gpt-oss existentes. O relatório descreve a sua função específica com precisão: são treinados para raciocinar a partir de uma política fornecida e classificar conteúdo segundo essa política.

Este enquadramento é importante. A política não está incorporada nos pesos — é fornecida no momento da inferência, e o modelo raciocina em função dela. Os modelos são apenas de texto, disponíveis sob a licença Apache 2.0 e a política de utilização gpt-oss da OpenAI, e compatíveis com a Responses API. Expõem a cadeia de raciocínio completa, três níveis de esforço de raciocínio (baixo, médio, alto) e Structured Outputs.

Para um pipeline de moderação ou classificação, estas funcionalidades encaixam bem: o registo de raciocínio fornece uma pista de auditoria para uma decisão de rotulagem, e os Structured Outputs fornecem um veredicto interpretável por máquina para encaminhar consoante o resultado.

A OpenAI traçou uma linha que o próprio modelo não consegue impor

A escolha editorial mais clara neste relatório é uma recomendação sobre o que não fazer. A OpenAI afirma que os modelos devem classificar conteúdo de acordo com uma política fornecida e não devem constituir a funcionalidade principal com que os utilizadores finais interagem — para isso, o relatório indica que os modelos gpt-oss originais são mais adequados.

Mas, por se tratar de pesos abertos, a OpenAI reconhece que alguém pode — e vai — executá-los como modelo de chat de qualquer forma. Por isso, as avaliações de segurança do relatório medem deliberadamente os modelos em contextos de chat — uma utilização que a empresa explicitamente não pretende.

Os modelos gpt-oss-safeguard não se destinam a esta utilização, mas, por serem modelos abertos, é possível que alguém os use desta forma. Devido a essa possibilidade, quisemos verificar que cumpriam os nossos padrões de segurança também nesse tipo de utilização.Montana Labs

É uma admissão franca sobre os limites de um lançamento Apache 2.0: pode-se recomendar um caso de uso, mas não se pode restringi-lo, por isso testa-se também o caminho não recomendado.

A lacuna de avaliação que o relatório assume abertamente

O relatório tem o cuidado de delimitar o que os seus números cobrem e não cobrem. As métricas de segurança descrevem o comportamento em contextos de chat — não a tarefa de classificação de conteúdo com base numa política, que é, de facto, a finalidade dos modelos. A avaliação multilingue também é enquadrada como um resultado obtido em contexto de chat, que não avalia diretamente o desempenho na classificação segundo uma política fornecida.

Assim, o caso de uso principal — raciocinar a partir da minha política e classificar este conteúdo — é precisamente aquele que os dados de segurança e multilinguismo publicados não medem diretamente. É uma lacuna que a equipa responsável pela implementação tem de colmatar com a sua própria avaliação, sobre as suas próprias políticas.

Quanto aos riscos de maior gravidade, a OpenAI raciocina por herança: tratando-se de afinações treinadas sem quaisquer dados adicionais de biologia ou cibersegurança, as estimativas de pior cenário anteriores, do lançamento do gpt-oss, são tratadas como transversalmente aplicáveis, em vez de serem recalculadas.

O que muda para as pilhas de moderação um classificador com a política no prompt

A implicação concreta é que a OpenAI está a lançar um classificador cujas regras residem no prompt, não nos pesos. Uma equipa pode versionar a sua política de moderação como texto, entregá-la ao modelo e obter em resposta um rótulo fundamentado, com cadeia de raciocínio e veredicto estruturado — sob uma licença permissiva Apache 2.0, com possibilidade de alojamento próprio, e com uma opção de 20b para orçamentos mais reduzidos.

O compromisso fica do seu lado. A OpenAI indicou a função pretendida, informou que as avaliações publicadas cobrem um contexto diferente, e avisou que a licença aberta significa que o modelo pode ser indevidamente utilizado como chatbot. Integrar isto num pipeline de moderação significa escrever bem a política, avaliar sobre o seu conteúdo real, e não confundir as métricas publicadas em contexto de chat com uma validação da tarefa de classificação que está a pagar para obter.