Estudo da OpenAI sobre afinação maliciosa para o gpt-oss

A afinação como modelo de ameaça, não o modelo como é lançado

O movimento central deste artigo é deixar de avaliar o modelo tal como seria lançado e passar a avaliar o modelo que um atacante poderia construir a partir dele. A OpenAI chama a isto afinação maliciosa (MFT, malicious fine-tuning): em vez de submeter a versão final a testes de red-teaming, afinaram o gpt-oss para ser o mais capaz possível em dois domínios, biologia e cibersegurança.

Esta abordagem é específica dos pesos abertos. Um modelo fechado pode ser protegido por trás de uma API e monitorizado; mas, uma vez que os pesos são públicos, o treino de segurança pode ser removido e o modelo pode ser re-treinado para o que um adversário quiser. Por isso, a pergunta honesta não é 'o modelo lançado é seguro', mas sim 'até onde é que isto se torna capaz nas piores mãos'. A MFT é uma tentativa de responder diretamente a essa questão, colocando-se no papel do adversário.

Como tentaram maximizar o dano

Os dois domínios tiveram configurações de treino diferentes. Para o biorrisco, a equipa selecionou tarefas ligadas à criação de ameaças e treinou o gpt-oss num ambiente de aprendizagem por reforço com acesso à navegação na web — dando ao modelo acesso a ferramentas em vez de o testar isoladamente. Para a cibersegurança, treinaram o gpt-oss num ambiente de programação agêntica para resolver desafios capture-the-flag, o teste padrão para avaliar competências ofensivas de segurança.

Ambas as configurações são relevantes porque refletem a forma como um modelo capaz é efetivamente utilizado: com ferramentas, navegação e ciclos agênticos. Testar os pesos base apenas com perguntas estáticas subestimaria o limite máximo. Construir o mesmo processo de extração que um atacante construiria é o que torna o limite superior significativo.

A comparação que decidiu o lançamento

As conclusões são apresentadas em termos relativos, face a modelos já existentes. Comparado com modelos de fronteira de pesos fechados, a versão com MFT do gpt-oss teve um desempenho inferior ao OpenAI o3 — e o o3 é descrito como estando abaixo do nível de capacidade Preparedness High tanto em biorrisco como em cibersegurança. Comparado com outros modelos de pesos abertos, o gpt-oss poderá aumentar marginalmente as capacidades biológicas mas, nas palavras dos autores, não faz avançar significativamente a fronteira.

No conjunto, estes resultados contribuíram para a nossa decisão de lançar o modelo, e esperamos que a nossa abordagem de MFT possa servir de orientação útil para estimar o dano de futuros lançamentos de pesos abertos.Montana Labs

A lógica assenta num argumento de risco marginal: se uma versão maximamente adversarial do gpt-oss se mantém abaixo de um modelo fechado já classificado sob o limiar High, e não vai além do que os modelos de pesos abertos já oferecem, então o seu lançamento não altera de forma significativa a fronteira de risco.

Um limite superior adversarial como critério de lançamento

O contributo reutilizável aqui é de natureza processual. A OpenAI propõe que as decisões de lançamento de pesos abertos sejam condicionadas a um limite superior obtido por simulação de ataque — afina-se o próprio modelo em direção às capacidades que se temem, com ferramentas realistas, e compara-se com referências existentes em vez de com um limiar de perigo abstrato.

Para qualquer equipa que esteja a ponderar um lançamento de pesos abertos, isto estabelece um critério concreto: não basta mostrar que a versão final recusa pedidos nocivos, porque essa versão final não é o que acaba por ser implementado. A evidência relevante é aquilo em que o modelo se transforma depois de um adversário motivado o re-treinar, medido em comparação com o que o ecossistema já disponibiliza. É esse o padrão que este artigo procura estabelecer.