El diseño de «interruptor de capacidad» de Anthropic es bastante interesante: modulariza el conocimiento de doble filo, es más resistente a ataques de fine-tuning que el olvido posterior, y añade una capa extra de seguridad a la IA.

Mensaje de CoinWorld: Anthropic y AE Studio publican nueva investigación que intenta agregar un interruptor al «conocimiento de doble uso» de la IA. El conocimiento de doble uso se refiere a capacidades que pueden utilizarse tanto para investigación legítima como para posibles abusos, como virología, ciberseguridad y física nuclear. El equipo de investigación probó 4 tipos de campos de doble uso en experimentos con datos reales: virología, ciberseguridad, física nuclear y lenguajes de programación de nicho. Los 4 módulos se pueden combinar en 16 configuraciones de capacidades. En comparación con entrenar modelos por separado para cada configuración, este método solo requiere un entrenamiento. Los resultados muestran que Gram, al mismo tiempo que retiene capacidades generales, puede eliminar bien las capacidades objetivo y es más resistente a ataques de microajuste malicioso a pequeña escala que los métodos de «olvido» posteriores al entrenamiento.