Cette conception de « commutateur de capacités » d’Anthropic est plutôt intéressante : elle module la connaissance à double tranchant sous forme modulaire, ce qui résiste mieux aux attaques par ajustement fin que l’oubli a posteriori. L’IA bénéficie ainsi d’une couche de sécurité supplémentaire.

Message de Bijiéwang : Anthropic et AE Studio publient une nouvelle recherche qui tente d'installer un interrupteur sur les « connaissances à double usage » de l'IA. Les connaissances à double usage désignent des capacités qui peuvent être utilisées à bon escient mais aussi détournées, comme en virologie, cybersécurité et physique nucléaire. L'équipe de recherche a testé 4 domaines à double usage dans une expérience sur des données réelles : virologie, cybersécurité, physique nucléaire et langages de programmation de niche. Les 4 modules permettent de combiner 16 configurations de capacités. Contrairement à l'entraînement d'un modèle séparé pour chaque configuration, cette méthode ne nécessite qu'un seul entraînement. Les résultats montrent que Gram, tout en conservant les capacités générales, parvient à bien supprimer les capacités ciblées, et résiste mieux au fine-tuning malveillant à petite échelle que les méthodes d'« oubli » post-entraînement.