Quão perigoso é o Mythos? Por que a Anthropic decidiu não lançar um novo modelo ao público

Título original: How Anthropic Learned Mythos Was Too Dangerous for the Wild
Autor original: Margi Murphy, Jake Bleiberg, and Patrick Howell O’Neill, Bloomberg
Tradução: Peggy, BlockBeats

Autor do texto: BlockBeats

Fonte original:

Reprodução: Mars Finance

Prefácio: Quando uma empresa de IA opta por não lançar o seu modelo mais avançado diretamente ao público, isso por si só já indica um problema.

O Mythos da Anthropic já consegue realizar um conjunto completo de processos de ataque de forma independente. Desde a descoberta de vulnerabilidades zero-day, escrita de códigos de exploração, até a conexão de múltiplos passos para acessar sistemas centrais, esses trabalhos, que normalmente exigiriam a colaboração de hackers de elite por longos períodos, foram comprimidos para horas ou até minutos.

Por isso, no momento em que o modelo foi divulgado, Scott Bessent e Jerome Powell convocaram reuniões com instituições de Wall Street, exigindo que ele fosse usado para “autoavaliação”. Quando a capacidade de descobrir vulnerabilidades é liberada em larga escala, o sistema financeiro enfrenta não ataques dispersos, mas varreduras contínuas.

Uma mudança mais profunda está na estrutura de oferta. No passado, a descoberta de vulnerabilidades dependia de poucos times de segurança e da experiência acumulada de hackers, com um ritmo lento e não replicável. Agora, essa capacidade começa a ser produzida em massa pelos modelos, reduzindo simultaneamente as barreiras para ataque e defesa. Uma metáfora de uma fonte familiar é direta: entregar o modelo a hackers comuns equivale a capacitá-los com habilidades de operações especiais.

As instituições já começaram a usar as mesmas ferramentas para verificar seus próprios sistemas de forma reversa. JPMorgan Chase, Cisco Systems e outros estão testando internamente, na esperança de corrigir vulnerabilidades antes que sejam exploradas. Mas as restrições práticas permanecem: a velocidade de descoberta aumenta, mas a de reparo continua lenta. “Somos bons em encontrar vulnerabilidades, mas não em consertá-las”, afirmou Jim Zemlin, apontando uma descoordenação no ritmo.

Na realidade, o Mythos não representa apenas uma melhoria pontual de capacidades, mas uma integração, aceleração e redução da barreira de entrada de capacidades de ataque dispersas e limitadas. Uma vez fora de controle, não há experiência prévia que possa orientar como essa capacidade se espalhará, nem como será seu uso.

O perigo não está no que ele pode fazer, mas em quem pode usá-lo e sob quais condições.

A seguir, o texto original:

Numa noite quente de fevereiro, durante uma cerimônia de casamento em Bali, Nicholas Carlini saiu momentaneamente, abriu seu laptop e preparou-se para “causar algum estrago”. Naquele momento, a Anthropic havia acabado de liberar um novo modelo de IA chamado Mythos para avaliação interna, e esse renomado pesquisador de IA pretendia ver até onde ele poderia causar problemas.

A tarefa de Carlini na Anthropic era fazer um “teste de resistência” no seu próprio modelo de IA, avaliando se hackers poderiam usá-lo para espionagem, roubo ou destruição. Durante a cerimônia em Bali, Carlini ficou impressionado com as capacidades do modelo.

Em poucas horas, ele descobriu várias técnicas que poderiam ser usadas para infiltrar sistemas comuns ao redor do mundo. Quando voltou ao escritório da Anthropic, no centro de São Francisco, percebeu algo ainda mais alarmante: Mythos já era capaz de gerar autonomamente ferramentas de invasão poderosas, incluindo métodos de ataque a Linux — um dos principais sistemas de código aberto que sustentam a computação moderna.

Mythos encenou uma “versão digital de um assalto bancário”: conseguiu contornar protocolos de segurança, entrar na rede pelo acesso legítimo, e invadir cofres digitais para roubar ativos online. Antes, a IA só “forçava fechaduras”, agora ela já tinha capacidade de planejar e executar toda uma “roubada”.

Carlini e alguns colegas começaram a alertar a equipe interna sobre suas descobertas. Ao mesmo tempo, quase todos os dias, eles encontravam vulnerabilidades de alto risco — até mesmo fatais — nos sistemas que Mythos explorava, problemas que normalmente só os melhores hackers do mundo conseguiriam detectar.

Simultaneamente, um time interno chamado “Frontier Red Team” — composto por 15 membros, conhecidos como “Ants” — também realizava testes similares. Sua missão era garantir que o modelo não fosse usado para prejudicar a humanidade. Eles levavam robôs de estimação para o depósito, testando se chatbots poderiam ser usados para controlar dispositivos maliciosamente; colaboravam com biólogos para avaliar se o modelo poderia ser usado na fabricação de armas biológicas.

Dessa vez