Desain 'saklar kemampuan' terbaru Anthropic cukup menarik, mengelola pengetahuan bermata dua secara modular, yang lebih tahan terhadap serangan fine-tuning dibandingkan pelupaan setelah kejadian, sehingga keamanan AI mendapat lapisan perlindungan tambahan.

Berita dari 币界网, Anthropic dan AE Studio merilis penelitian baru, mencoba memasang saklar pada "pengetahuan penggunaan ganda" AI. Pengetahuan penggunaan ganda merujuk pada kemampuan yang dapat digunakan untuk penelitian yang sah maupun disalahgunakan, seperti virologi, keamanan siber, dan fisika nuklir. Tim peneliti menguji 4 kategori domain penggunaan ganda dalam eksperimen data nyata: virologi, keamanan siber, fisika nuklir, dan bahasa pemrograman khusus. 4 modul dapat dikombinasikan menjadi 16 konfigurasi kemampuan. Dibandingkan dengan melatih model secara terpisah untuk setiap konfigurasi, metode ini hanya memerlukan satu kali pelatihan. Hasilnya menunjukkan bahwa Gram, sambil mempertahankan kemampuan umum, dapat menghapus kemampuan target dengan cukup baik, dan ketahanannya terhadap fine-tuning jahat skala kecil juga lebih kuat daripada metode "pelupaan" pasca-pelatihan.