O design do "interruptor de capacidade" da Anthropic é interessante: controlar modularmente o conhecimento de dois gumes é mais resistente a ataques de ajuste fino do que o esquecimento posterior, adicionando mais uma camada de segurança à IA.

Anthropic e AE Studio publicam nova pesquisa, testando um "interruptor" para o conhecimento de duplo uso em IAs. Conhecimento de duplo uso se refere a capacidades que podem ser usadas tanto para pesquisas legítimas quanto para fins maliciosos, como virologia, segurança cibernética e física nuclear. A equipe testou 4 áreas de duplo uso em experimentos com dados reais: virologia, segurança cibernética, física nuclear e linguagens de programação de nicho. Os 4 módulos podem ser combinados em 16 configurações de capacidade. Em vez de treinar modelos separadamente para cada configuração, esse método requer apenas um treinamento. Os resultados mostram que o Gram, ao manter as capacidades gerais, consegue remover bem as capacidades-alvo e resiste melhor a pequenos ajustes maliciosos do que os métodos de "esquecimento" pós-treinamento.