IA sem censura como serviço reduz a barreira para atacantes

Remover os filtros de segurança de um modelo de IA aberto costumava ser um projeto de amadores. Agora é um produto que se compra com um cartão. Segundo o The Decoder, a startup norte-americana Abliteration.ai pega em modelos de peso aberto, apaga as recusas treinadas e vende o acesso através de uma API comercial. Para uma pequena empresa, o interessante não é a tecnologia — é o facto de o custo e a competência necessários para produzir material de fraude convincente terem voltado a descer.

O que mudou de facto

A técnica chama-se abliteration. Em vez de enganar um modelo com um prompt engenhoso, o processo localiza os padrões internos que fazem o modelo dizer "não" e ajusta os pesos para os suprimir. O resultado é um modelo que recusa pedidos sensíveis muito menos vezes, mantendo praticamente intactas as capacidades de programação e de agente, segundo as próprias avaliações da empresa.

Modelos modificados circulam em repositórios públicos de modelos há anos. O que é novo é a embalagem. A Abliteration.ai não publica os pesos para download. Aloja o modelo e vende o acesso a cinco dólares por milhão de tokens de entrada ou saída, pelo que o cliente não precisa de GPUs nem de conhecimentos de machine learning. O mercado declarado é o trabalho de segurança ofensiva: red teaming, análise de malware, reprodução de vulnerabilidades conhecidas, phishing simulado. A empresa diz que a procura inicial veio de firmas que testam agentes de IA implementados por grandes organizações e bancos.

As proteções que restam são ténues. A TechCrunch relatou ter obtido código para extrair palavras-passe guardadas no Chrome e um guia detalhado para cultivar um agente patogénico perigoso sem grande dificuldade. Alguns limites mantêm-se, incluindo pedidos de autoagressão e conteúdo sexual envolvendo crianças. Os prompts e as respostas não são armazenados, o que protege as equipas de segurança legítimas mas também significa que não há registos a inspecionar caso o serviço seja utilizado de forma abusiva. O fornecedor não exige verificação de identidade convencional, argumentando que tais verificações não separariam de forma fiável utilizadores bons de maus e prejudicariam as firmas de segurança mais pequenas.

Vale notar: os profissionais de segurança não são unânimes quanto à necessidade disto tudo. Vários fornecedores de red team disseram à TechCrunch que os modelos abliterados não fazem parte do seu trabalho habitual, e uma análise concluiu que o modelo predecessor, sem modificações, já não recusava nada em testes de segurança ofensiva. A Abliteration.ai também não está sozinha; outros fornecedores alojam modelos igualmente sem restrições. A tendência, e não a empresa isolada, é que é a história.

Porque é que isto importa para uma pequena empresa

Ninguém compra um modelo sem censura para visar especificamente uma empresa de dez pessoas. O risco é indireto e barato: emails de phishing melhor escritos, faturas mais plausíveis, texto localizado mais limpo em todas as línguas dos seus clientes, e ataques com guião produzidos mais depressa por pessoas com competências limitadas. As defesas antigas, que assentavam em detetar gramática incorreta ou um documento mal formatado, deixaram de funcionar.

A segunda consequência é que os seus próprios sistemas voltados para IA passam a fazer parte da superfície de ataque. Se gere um chatbot capaz de consultar encomendas, alterar moradas ou emitir reembolsos, alguém acabará por testar se consegue convencê-lo a fazer algo que não devia. As pessoas que testam agentes em bancos estão a fazer exatamente isso, de propósito.

O que fazer quanto a isto

• Escreva uma regra de confirmação de pagamentos e ponha-a por escrito. Qualquer alteração de dados bancários, qualquer nova conta de fornecedor, qualquer transferência invulgar é verificada por uma segunda pessoa através de um canal que não foi o do pedido. Um número de telefone que já tinha antes, não um recebido por email.
• Deixe de tratar o tom e a aparência como prova de identidade. A voz numa chamada, um rosto familiar em vídeo, uma assinatura no rodapé de um email — nada disto confirma com quem está a falar. Combine um procedimento de retorno de chamada ou uma frase-código partilhada para pedidos de valor elevado, e deixe a equipa usá-la sem se sentir mal-educada.
• Dê à sua equipa permissão para abrandar. Forme-a para a realidade atual: as mensagens fraudulentas estão agora bem escritas, corretas na sua língua e muitas vezes referem detalhes reais. O sinal a observar é a urgência associada a um pedido de dinheiro, credenciais ou acesso.
• Audite o que os seus bots e agentes de IA têm permissão para fazer. Só leitura sempre que possível. Mantenha reembolsos, descontos, alterações de morada e exportações de dados dependentes de aprovação humana, com um registo de quem aprovou o quê.
• Ative registos (logs) e autenticação multifator onde ainda não o fez. Se algo correr mal, a diferença entre um mau dia e um mau trimestre está em conseguir ver o que aconteceu.

A direção aqui é constante em vez de dramática. Capacidades que antes eram difíceis de obter tornam-se serviços, e os serviços ficam mais baratos. Não pode controlar esse lado da equação, por isso o trabalho útil está do seu lado: menos aprovações de uma só pessoa, menos ações que um sistema automatizado pode tomar sem supervisão, e uma equipa a quem foi dito com clareza que uma mensagem bem escrita não é uma mensagem de confiança.