Estudo da OpenAI sobre fine-tuning malicioso no gpt-oss

Fine-tuning como modelo de ameaça, não o modelo como é lançado

O movimento central desse artigo é parar de avaliar o modelo como ele seria lançado e passar a avaliar o modelo que um atacante conseguiria construir a partir dele. A OpenAI chama isso de fine-tuning malicioso (MFT): em vez de fazer red-teaming no checkpoint liberado, eles fizeram fine-tuning do gpt-oss para deixá-lo o mais capaz possível em duas áreas, biologia e cibersegurança.

Essa abordagem é específica para pesos abertos. Um modelo fechado pode ser protegido atrás de uma API e monitorado; depois que os pesos são públicos, o treinamento de segurança pode ser removido e o modelo retreinado com qualquer coisa que um adversário quiser. Então a pergunta honesta não é 'o modelo lançado é seguro', mas 'até onde isso se torna capaz nas piores mãos'. O MFT é uma tentativa de responder isso diretamente, assumindo o papel do adversário.

Como tentaram maximizar o dano

As duas áreas receberam configurações de treinamento diferentes. Para biorrisco, a equipe organizou tarefas ligadas à criação de ameaças e treinou o gpt-oss em um ambiente de aprendizado por reforço com navegação na web — dando ao modelo acesso a ferramentas em vez de testá-lo isoladamente. Para cibersegurança, treinaram o gpt-oss em um ambiente de programação agentic para resolver desafios capture-the-flag, o proxy padrão para habilidade ofensiva em segurança.

Ambas as configurações são notáveis porque refletem como um modelo capaz realmente é usado: com ferramentas, navegação e loops agentic. Testar os pesos base em perguntas estáticas subestimaria o limite máximo. Construir o pipeline de extração que o próprio atacante construiria é o que dá sentido ao limite superior.

A comparação que decidiu o lançamento

Os achados são apresentados em termos relativos, comparando-se a modelos já existentes. Frente a modelos de ponta com pesos fechados, a versão MFT do gpt-oss teve desempenho inferior ao OpenAI o3 — e o o3 é descrito como estando abaixo do nível de capacidade Preparedness High tanto em biorrisco quanto em cibersegurança. Frente a outros modelos de pesos abertos, o gpt-oss pode aumentar marginalmente as capacidades biológicas, mas, nas palavras dos autores, não avança substancialmente a fronteira.

Em conjunto, esses resultados contribuíram para nossa decisão de lançar o modelo, e esperamos que nossa abordagem de MFT possa servir como orientação útil para estimar danos em futuros lançamentos de pesos abertos.Montana Labs

A lógica é um argumento de risco marginal: se uma versão maximamente adversarial do gpt-oss fica abaixo de um modelo fechado já julgado abaixo do limite High, e não avança além do que os modelos de pesos abertos já oferecem, então lançá-lo não desloca de forma significativa a fronteira de risco.

Um limite superior adversarial como critério de lançamento

A contribuição reutilizável aqui é processual. A OpenAI está propondo que decisões de lançamento de pesos abertos sejam condicionadas a um limite superior de simulação de ataque — você faz fine-tuning do seu próprio modelo em direção às capacidades que teme, com ferramentas realistas, e compara com os padrões já existentes em vez de com um limiar abstrato de perigo.

Para qualquer equipe avaliando um lançamento de pesos abertos, isso estabelece um critério concreto: não basta mostrar que o checkpoint lançado recusa pedidos prejudiciais, porque o checkpoint lançado não é o que de fato é implantado. A evidência relevante é o que o modelo se torna depois que um adversário motivado o retreina, medido em relação ao que o ecossistema já oferece. Esse é o padrão que este artigo está tentando estabelecer.