Microsoft telah memperkenalkan toolkit sumber terbuka baru yang berfokus pada keamanan runtime untuk menerapkan tata kelola yang lebih ketat atas agen AI perusahaan.

Ringkasan

• Microsoft meluncurkan toolkit sumber terbuka yang berfokus pada keamanan runtime untuk mengatur agen AI perusahaan.
• Sistem tersebut memantau dan memblokir tindakan agen secara real time, mengatasi risiko dari model otonom yang mengeksekusi kode. Sistem ini menyisipkan lapisan kebijakan antara model AI dan sistem korporat, sehingga menciptakan jejak keputusan yang dapat diaudit.
• Toolkit ini juga membantu mengendalikan penggunaan API dan konsumsi token, sehingga mengurangi risiko operasional dan biaya.

Toolkit ini dibangun di sekitar keamanan runtime, menanggapi kekhawatiran bahwa model bahasa modern kini tidak lagi dibatasi untuk peran penasehat, melainkan benar-benar mengeksekusi kode dan berinteraksi dengan sistem internal. Pengamanan tradisional seperti pemeriksaan kode statis dan pemindaian sebelum penayangan sulit untuk mengejar perilaku dinamis ini.

Penerapan AI sebelumnya sebagian besar berfokus pada copilots dengan akses terbatas dan hanya-baca, sehingga manusia tetap memegang kendali atas eksekusi. Model itu berubah. Perusahaan kini mengintegrasikan sistem agen yang mampu mengambil tindakan independen di seluruh API, lingkungan cloud, dan pipeline pengembangan.

Dalam situasi seperti itu, sebuah agen AI dapat mengurai sebuah email, menghasilkan skrip, lalu menyebarkannya ke sebuah server tanpa intervensi manusia. Satu instruksi yang keliru atau serangan injeksi prompt dapat menyebabkan perubahan basis data yang tidak diinginkan atau terungkapnya informasi sensitif. Toolkit baru ini mengatasi risiko tersebut dengan memantau tindakan saat terjadi dan melakukan intervensi secara real time, alih-alih mengandalkan kontrol yang telah ditetapkan sebelumnya.

Pengawasan real-time atas tindakan yang digerakkan agen

Sistem ini berfokus pada cara agen AI berinteraksi dengan alat eksternal. Ketika sebuah model perlu melakukan tindakan di luar pemrosesan internalnya, seperti melakukan kueri terhadap sistem perusahaan, model tersebut menghasilkan perintah yang diarahkan ke alat tersebut.

Microsoft menyisipkan lapisan penegakan kebijakan di antara model dan jaringan korporat. Setiap permintaan yang keluar dicegat dan dievaluasi terhadap aturan tata kelola yang telah ditetapkan sebelum dieksekusi. Jika sebuah tindakan melanggar kebijakan, misalnya agen mencoba memulai transaksi padahal dibatasi pada akses hanya-baca, permintaan tersebut diblokir dan dicatat untuk ditinjau.

Pendekatan ini menciptakan jejak keputusan yang dapat diaudit sekaligus menghilangkan kebutuhan agar pengembang menyematkan batasan keamanan ke setiap prompt atau alur kerja. Tata kelola bergeser dari logika aplikasi ke kontrol tingkat infrastruktur.

Kerangka kerja ini juga bertindak sebagai penyangga bagi sistem warisan, banyak di antaranya tidak dirancang untuk menangani masukan yang tidak dapat diprediksi yang dihasilkan mesin. Dengan menyaring dan memvalidasi permintaan sebelum permintaan tersebut mencapai sistem inti, sistem ini membatasi risiko yang ditimbulkan oleh perilaku AI yang terkompromi atau salah arah.

Keputusan Microsoft untuk merilis toolkit ini sebagai sumber terbuka terkait dengan praktik pengembangan yang tengah berjalan saat ini. Tim yang membangun alur kerja AI sering kali mengandalkan kombinasi alat dan model dari pihak ketiga. Solusi berbayar bisa dilewati demi alternatif yang lebih cepat. Ketersediaan secara terbuka memungkinkan kontrol untuk terintegrasi di berbagai lingkungan, termasuk sistem yang menggunakan model dari pesaing seperti Anthropic.

Hal ini juga membuka peluang bagi perusahaan keamanan siber untuk membangun lapisan pemantauan dan respons tambahan di atas kerangka kerja tersebut, membantu menetapkan basis bersama untuk mengamankan operasi yang digerakkan AI.

Menerapkan disiplin keuangan pada alur kerja AI

Keamanan hanyalah satu bagian dari tantangan. Agen otonom juga menghadirkan risiko keuangan dan operasional, terutama melalui penggunaan API yang tidak diawasi.

Sistem-sistem ini beroperasi dalam loop yang berkelanjutan, sehingga melakukan panggilan berulang ke layanan eksternal. Tanpa batasan, bahkan tugas sederhana dapat memicu ribuan kueri ke basis data atau API berbayar, sehingga biaya meningkat dengan cepat. Dalam kasus ekstrem, agen yang dikonfigurasi keliru dapat masuk ke siklus rekursif yang menghabiskan banyak sumber daya komputasi dalam waktu singkat.

Toolkit ini memungkinkan organisasi untuk menetapkan batasan ketat pada penggunaan token dan frekuensi permintaan. Dengan mengendalikan seberapa sering agen dapat bertindak dalam periode tertentu, perusahaan dapat lebih baik mengelola pengeluaran dan mencegah proses yang tidak terkendali.

Pengawasan runtime juga mendukung persyaratan kepatuhan dengan menyediakan kontrol yang dapat diukur dan log audit yang jelas. Tanggung jawab bergeser dari penyedia model ke sistem yang mengeksekusi keputusan di lingkungan dunia nyata.

Peluncuran kerangka kerja tata kelola seperti ini akan memerlukan koordinasi antara tim rekayasa, hukum, dan keamanan. Saat sistem AI mengambil peran yang semakin otonom, infrastruktur yang mengelola perilaku mereka menjadi pusat bagi penyebaran yang aman.

Microsoft memperluas dorongan infrastruktur AI di Jepang

Rilis tersebut hadir bersamaan dengan investasi berkelanjutan dalam infrastruktur AI. Microsoft baru-baru ini menguraikan rencana untuk mengalokasikan $10 miliar di Jepang selama empat tahun ke depan, dengan fokus pada pusat data dan sistem pendukung.

Pengumuman itu mengikuti pembicaraan antara Presiden Microsoft Brad Smith dan Perdana Menteri Jepang Sanae Takaichi di Tokyo. Smith menggambarkan investasi tersebut sebagai “respons terhadap kebutuhan Jepang yang semakin meningkat akan layanan cloud dan AI”.

Perusahaan ini bekerja sama dengan SoftBank Group dan Sakura Internet untuk memperluas infrastruktur domestik. Komitmen terbaru ini bertumpu pada rencana senilai $2,9 miliar yang diumumkan pada 2024 dengan tujuan memperkuat kapabilitas AI dan ketahanan siber di negara tersebut.