O relatório GTIG da Google separa o uso indevido de AI (Artificial Intelligence) por APTs da extração de modelos no setor privado

Duas categorias de ameaça, deliberadamente separadas

A publicação faz algo que a maioria das atualizações sobre segurança de AI tende a confundir: traça uma linha entre atores que usam AI para lançar ataques e atores que atacam a própria AI. Quanto ao primeiro caso, o GTIG afirma ter observado atores a usar AI para recolher informação, criar aquilo que designa por esquemas de phishing 'extremamente realistas' e desenvolver malware.

Quanto ao segundo caso, a linguagem é mais precisa. A Google afirma não ter observado ataques diretos a modelos de fronteira ou a produtos de AI generativa por parte de ameaças persistentes avançadas (APT). Trata-se de uma afirmação concreta e datada — uma conclusão negativa — e isso é relevante porque indica de onde não está a vir a pressão, pelo menos no período abrangido pelo GTIG.

A extração de modelos é a ameaça que a Google decidiu nomear

A afirmação concreta da publicação refere-se a ataques de extração de modelos, que a Google caracteriza como uma forma de espionagem empresarial. A empresa diz ter 'observado e mitigado tentativas frequentes' deste tipo, atribuindo-as não a grupos apoiados por estados, mas a entidades do setor privado em todo o mundo.

observámos e mitigámos ataques frequentes de extração de modelos (um tipo de espionagem empresarial) por parte de entidades do setor privado em todo o mundo — uma ameaça que outras empresas com modelos de AI provavelmente irão enfrentar num futuro próximoMontana Labs

Vale a pena reter esta forma de apresentar a questão. Segundo a Google, quem tenta copiar o modelo é, muitas vezes, outra empresa e não um governo hostil. E a Google prevê explicitamente que qualquer empresa que opere os seus próprios modelos deve esperar a mesma pressão.

As respostas são específicas ao modelo e à conta

A Google descreve dois tipos de ação. Primeiro, a desativação de contas associadas para interromper atividade maliciosa — uma medida operacional ligada ao acesso à plataforma. Segundo, o reforço tanto dos controlos de segurança como dos modelos Gemini contra uso indevido, o que indica alterações aos próprios modelos, e não apenas às barreiras que os rodeiam.

A publicação não fornece números sobre quantas contas foram desativadas, com que frequência ocorrem essas tentativas 'frequentes', ou em que consistiu o reforço dos modelos. Esses detalhes, caso existam, ficam remetidos para o relatório completo no blog Google Cloud Threat Intelligence. Esta publicação é um resumo e um ponto de partida.

O que uma equipa que aloja os seus próprios modelos deve retirar disto

A implicação para qualquer organização que treina ou disponibiliza os seus próprios modelos é o alerta sobre extração. A Google está a avisar os operadores de que os pesos e o comportamento de um modelo implementado são, em si mesmos, um alvo de roubo, independentemente de alguém estar a tentar fazer jailbreak ou envenená-lo, e de que os atacantes podem ser concorrentes comerciais.

Na prática, isto separa duas funções defensivas que muitas equipas tratam como uma só: proteger contra o uso indevido dos resultados do modelo e proteger contra a reconstrução do próprio modelo através de consultas. A Google diz ter mitigado esta última. A publicação não explica como, por isso a conclusão prática é mais limitada do que o título sugere — convém ler o relatório associado antes de assumir que as mitigações se aplicam a uma implementação de menor escala.