Anthropic este design de "interruptor de capacidade" é bastante interessante, modularizando o conhecimento de dois gumes para controlo, mais resistente a ataques de ajuste fino do que o esquecimento posterior, acrescentando mais uma camada de segurança à IA.

Notícias do Bikun: A Anthropic e a AE Studio publicaram uma nova investigação que tenta colocar um interruptor no «conhecimento de dupla utilização» da IA. O conhecimento de dupla utilização refere-se a capacidades que podem ser usadas tanto para investigação legítima como para potencial abuso, como virologia, cibersegurança e física nuclear. A equipa de investigação testou quatro categorias de domínios de dupla utilização em experiências com dados reais: virologia, cibersegurança, física nuclear e linguagens de programação de nicho. Os quatro módulos podem ser combinados para formar 16 configurações de capacidades. Em comparação com o treino de modelos separados para cada configuração, este método requer apenas um treino. Os resultados mostram que o Gram, ao mesmo tempo que retém capacidades gerais, consegue remover bem as capacidades alvo e é mais resistente a micro-ajustes maliciosos de pequena escala do que os métodos de «esquecimento» pós-treino.