Agen AI perusahaan, celah keamanan di balik produktivitas... kesenjangan pengelolaan membesar

Dalam konteks perusahaan yang semakin mempercepat pengenalan kecerdasan buatan (AI), “agen otonom” yang meningkatkan efisiensi kerja juga menjadi celah keamanan baru. Terutama yang perlu diperhatikan adalah bahwa banyak perusahaan meskipun telah menerapkan agen AI ke dalam sistem internal, namun gagal membangun sistem kepercayaan dan tata kelola yang sesuai untuk mengelolanya, yang dianggap sebagai risiko inti.

CEO KnowBe4, Brian Palma, menyatakan dalam acara KB4-CON 2026: “Masalah mendasar di bidang keamanan saat ini adalah kesenjangan antara kecepatan pengenalan dan pembangunan sistem tata kelola.” Ia menekankan bahwa perusahaan harus terlebih dahulu melakukan “identifikasi” dan “pemahaman” terhadap agen AI yang berjalan di dalam sistem mereka. Ia menjelaskan bahwa perlakuan terhadap agen AI harus mengikuti pendekatan yang digunakan industri keamanan terhadap karyawan manusia di masa lalu. Ini berarti menganggapnya sebagai aset yang belum cukup dilatih, memahami perilakunya terlebih dahulu, kemudian melindunginya.

Palma membandingkan agen AI dengan kondisi yang masih berada di tahap sekolah dasar. Ia menjelaskan bahwa agen tersebut tidak mampu membedakan instruksi berbahaya, dan mudah dipengaruhi oleh perintah yang salah atau kode berbahaya. Ia menyatakan, “Inti dari membangun kepercayaan adalah ‘transparansi’.” Harus jelas agen mana yang ada, sistem apa yang mereka hubungkan, dan sumber daya apa yang dapat diakses.

Dari “manusia” ke “agen AI”… Perluasan ruang lingkup manajemen keamanan

Menanggapi perubahan ini, KnowBe4 sedang memperluas platform manajemen risiko manusia yang ada untuk mencakup keamanan agen AI. Produk perusahaan, AIDA, adalah alat untuk otomatisasi dan personalisasi pelatihan kesadaran keamanan karyawan, sementara peluncuran terbaru, “Pengelola Risiko Agen”, fokus pada pengelolaan daftar agen AI yang berjalan di lingkungan perusahaan, mengidentifikasi jalur koneksi dan hak aksesnya, serta menetapkan kebijakan dan mekanisme pembatasan yang sesuai.

Menurut Palma, alat ini pertama-tama akan menyusun daftar kondisi agen AI internal perusahaan. Selanjutnya, akan melacak proses apa yang digunakan oleh setiap agen dan ke mana mereka terhubung, seperti sistem email atau keuangan. Langkah terakhir adalah menetapkan “pembatas” yang mampu membedakan apa yang “boleh” dan “tidak boleh” dilakukan oleh agen.

Ini menunjukkan bahwa strategi keamanan perusahaan saat ini sedang mengalami restrukturisasi menjadi model “ancaman ganda”. Karena satu agen AI dapat meningkatkan produktivitas di satu sisi, tetapi juga berpotensi menjadi jalur yang dimanfaatkan oleh penyerang di sisi lain. Pada akhirnya, perusahaan dihadapkan pada kebutuhan untuk merancang strategi pertahanan sekaligus strategi pemanfaatan.

Ancaman AI semakin canggih… “Dalam satu tahun ke depan, insiden yang dipicu oleh agen akan meningkat”

KnowBe4 menyatakan bahwa model AI mereka didasarkan pada data perilaku yang dikumpulkan selama 15 tahun dari 70.000 organisasi dan lebih dari 100 juta pengguna. Palma menunjukkan bahwa ini adalah keunggulan perusahaan dibandingkan pesaing. Berdasarkan laporan “Situasi Risiko Manusia 2025” yang dirilis perusahaan, 45% pemimpin keamanan siber menganggap “ancaman berbasis AI yang terus berkembang” sebagai tantangan terbesar.

Ia menambahkan bahwa di platform AIDA, dibandingkan dengan metode manual, skor risiko pribadi berkurang sekitar 4 poin persentase. Ini menunjukkan bahwa pelatihan keamanan yang disesuaikan dengan AI berperan positif dalam memperbaiki perilaku pengguna secara nyata.

Selain itu, KnowBe4 memperluas dukungannya dari Microsoft Copilot ke Gemini, Claude, dan ChatGPT untuk menghadapi lingkungan “multi-LLM”. Mereka berpendapat bahwa karena perusahaan tidak akan bergantung hanya pada satu model bahasa besar tertentu, manajemen risiko agen AI juga harus mampu menangani berbagai model sekaligus.

Palma memperingatkan bahwa dalam satu tahun ke depan, kasus insiden keamanan perusahaan yang disebabkan oleh agen AI sebagai celah langsung kemungkinan besar akan meningkat secara signifikan. Ia mengatakan, “Agen akan memperluas permukaan serangan. Penerapan itu sendiri sangat penting dan efektif, tetapi juga membawa risiko besar.”

Fokus keamanan AI perusahaan saat ini telah melampaui pertanyaan sederhana “apakah akan diperkenalkan” menjadi “siapa yang menggunakan agen AI mana, dan terhubung ke mana.” Ada pandangan yang menyatakan bahwa agar strategi AI yang berorientasi pada produktivitas dan inovasi dapat berhasil, prasyaratnya adalah membangun sistem kepercayaan dan kontrol terlebih dahulu, dan pandangan ini semakin mendapatkan pengakuan.

Catatan Penting TP AI Artikel ini dirangkum berdasarkan model bahasa TokenPost.ai. Isi utama dalam teks ini mungkin telah disingkat atau tidak sesuai fakta.