Anthropicの今回の「能力スイッチ」デザインは面白い。両刃の剣の知識をモジュール化して管理することで、事後的な忘却よりも微調整攻撃に強く、AIセキュリティにさらに一層の保険が加わった。

币界网消息、AnthropicとAE Studioは新たな研究を発表し、AIの「デュアルユース知識」にスイッチを付ける試みを行った。デュアルユース知識とは、正当な研究に利用できる一方で悪用される可能性もある能力、例えばウイルス学、サイバーセキュリティ、核物理学などを指す。研究チームは実データを用いた実験で、ウイルス学、サイバーセキュリティ、核物理学、ニッチなプログラミング言語の4種類のデュアルユース領域をテストした。4つのモジュールを組み合わせることで16通りの能力構成が可能となる。各構成ごとに個別にモデルを訓練するのと比較して、この手法では1回の訓練だけで済む。結果として、Gramは汎用能力を保持しつつも対象能力を良好に除去でき、小規模な悪意のあるファインチューニングに対する耐性も、訓練後の「忘却」手法よりも優れていることが示された。