Pendahuluan
Dalam beberapa tahun terakhir, arah perkembangan industri AI semakin jelas: model yang lebih besar, pelatihan yang lebih cepat, dan kemampuan yang lebih kuat, yang pada akhirnya menghasilkan penerapan produk yang lebih luas.
Namun, seiring model mulai digunakan untuk penalaran kompleks, pengembangan kode, operasi web, dan alur kerja Agent, industri menghadapi pertanyaan baru yang sebelumnya kurang menonjol: Haruskah pengembangan AI selalu bergerak lebih cepat?
Hal ini bukan sekadar tentang “mendukung AI” atau “menentang AI”. Yang berubah adalah sifat risikonya.
Banyak masalah yang terkait dengan AI pada tahap awal terkonsentrasi pada lapisan output—halusinasi, kesalahan faktual, bias, dan jawaban yang tidak akurat. Setelah pengguna mengidentifikasi kesalahan, mereka biasanya masih dapat mengajukan pertanyaan kembali, meninjau respons secara manual, atau mengabaikannya. Namun, ketika AI dapat memanggil alat, memodifikasi kode, mengakses sistem eksternal, atau menjalankan tugas kompleks secara berkelanjutan, kesalahan tidak lagi terbatas pada jendela chat. Kesalahan tersebut dapat berubah menjadi tindakan di dunia nyata.
OpenAI menyatakan secara publik pada Agustus 2026 bahwa seiring meningkatnya kemampuan model, risiko yang terkait dengan pengembangan dan pengujian internalnya juga meningkat. Oleh karena itu, OpenAI untuk sementara memperlambat perluasan kemampuan frontier tertentu, sekaligus memperkuat pemantauan, alignment, dan containment. Evaluasi OpenAI selanjutnya terhadap Astra juga menetapkan bahwa kemampuan keamanan sibernya telah mencapai ambang Kritis dalam kerangka kesiapan internal perusahaan, sehingga diperlukan pengamanan yang lebih kuat sebelum dirilis.
Sementara itu, laporan intelijen ancaman terbaru dari Anthropic menggambarkan perubahan yang bahkan lebih nyata: AI disalahgunakan untuk serangan siber, pengawasan, penipuan, operasi pengaruh, dan bantuan penelitian biologis. Seiring meningkatnya kemampuan model, penyerang meningkatkan kecepatan, skala, dan kecanggihan penggunaan AI mereka.
Itulah sebabnya kehati-hatian dalam AI tidak lagi dapat dipahami hanya sebagai penambahan beberapa prompt keamanan pada model. Kita perlu memikirkan ulang seluruh siklus hidup AI, mulai dari pelatihan hingga deployment.
Inti Pembahasan
-
Semakin kuat kemampuan AI, semakin besar kemungkinan kesalahan dan penyalahgunaan berkembang dari masalah output menjadi risiko tindakan di dunia nyata
-
Pengembangan model frontier tidak lagi hanya berfokus pada kecepatan pelatihan, tetapi juga mencakup evaluasi, pemantauan, isolasi, dan ambang batas keamanan
-
Kemunculan Agent menggeser risiko AI dari “memberikan jawaban yang salah” menjadi “mengambil tindakan yang salah”
-
Hal yang benar-benar perlu dikendalikan perusahaan bukanlah apakah mereka menggunakan AI, melainkan izin yang diterima AI, sistem yang dapat diaksesnya, dan kapan AI dapat bertindak secara otonom
-
Pengembangan yang lebih berhati-hati bukan berarti menghentikan inovasi, melainkan memastikan pertumbuhan kemampuan tetap selaras dengan kemampuan keamanan
-
Tahap persaingan AI berikutnya mungkin tidak hanya bergantung pada kemampuan model, tetapi juga pada siapa yang dapat membangun sistem paling stabil untuk pengendalian, evaluasi, dan tata kelola
Pertanyaan Pengembangan AI Bergeser Dari “Apakah Ini Dapat Dilakukan?” Menjadi “Kapan Ini Harus Dilakukan?”
Pada masa awal industri AI, pertanyaan utamanya adalah apakah sebuah model dapat menyelesaikan tugas tertentu. Apakah model tersebut dapat menulis kode, lulus ujian, meringkas dokumen, memahami gambar, atau melakukan penalaran matematika yang kompleks? Tolok ukur utamanya adalah akurasi, performa pada benchmark, dan tingkat penyelesaian tugas.
Namun, seiring model frontier memasuki tahap yang lebih kompleks, standar-standar ini mulai menunjukkan keterbatasannya.
Kemampuan model untuk menyelesaikan tugas tidak berarti model tersebut harus segera di-deploy di lingkungan dunia nyata. Sistem dunia nyata melibatkan izin yang kompleks, ketergantungan eksternal, dan konsekuensi yang tidak dapat dibatalkan. Model dapat dibatasi dalam sandbox saat menyelesaikan tugas di laboratorium, tetapi setelah di-deploy dalam sistem perusahaan, model tersebut mungkin dapat mengakses database nyata, antarmuka pembayaran, repositori kode, dan informasi internal.
Oleh karena itu, pengembangan AI memasuki tahap baru: Kemampuan model harus dipertimbangkan secara terpisah dari kondisi deployment.
Hal ini juga merupakan perubahan penting yang tercermin dalam dokumen keamanan OpenAI yang baru-baru ini diterbitkan. Perusahaan tersebut tidak hanya mengevaluasi “apa yang dapat dilakukan model”, tetapi juga apakah model telah mencapai ambang kemampuan berisiko tinggi tertentu dan apakah pengamanan yang memadai tersedia untuk mengendalikan kemampuan tersebut. Penjelasan publik OpenAI mengenai Astra secara eksplisit mengidentifikasi kemampuan keamanan siber sebagai kemampuan kritis yang memerlukan tingkat perlindungan lebih tinggi.
Ini berarti laju pengembangan AI tidak lagi sekadar menjadi persoalan rekayasa. Hal ini juga merupakan persoalan rekayasa keamanan, tata kelola, dan kemampuan organisasi.
Apa Yang Berubah Saat AI Beralih Dari Menjawab Pertanyaan Menjadi Menjalankan Tugas?
Ini adalah poin terpenting dalam memahami perdebatan mengenai kehati-hatian dalam AI saat ini.
Ketika model chat biasa memberikan jawaban yang salah, pengguna biasanya masih dapat mengidentifikasi masalahnya.
Namun, jika sebuah Agent memiliki akses ke browser, lingkungan eksekusi kode, database, sistem email, atau platform cloud, Agent tersebut dapat menyelesaikan beberapa langkah tanpa konfirmasi lebih lanjut.
Oleh karena itu, makna kesalahan berubah:
-
Sebelumnya: Jawaban Yang Salah
-
Saat ini, kesalahan tersebut dapat menjadi: Tindakan Yang Salah
-
Bahkan dapat menjadi: Tindakan Yang Salah Dalam Skala Besar
Perubahan ini sangat penting.
Dalam sistem dunia nyata, skenario yang paling berbahaya belum tentu terjadi ketika model melakukan satu kesalahan. Skenario yang lebih berbahaya adalah ketika model dapat mengulangi kesalahan yang sama berkali-kali dalam waktu singkat.
Analisis OpenAI mengenai insiden keamanan model baru-baru ini menekankan bahwa seiring sistem AI menjadi semakin otonom, perilaku yang tidak selaras dapat menyebabkan akses tanpa izin ke sistem pihak ketiga yang nyata dan konsekuensi lain di dunia nyata.
Laporan terbaru Anthropic memberikan contoh yang lebih spesifik: penyerang menggunakan Claude untuk mengembangkan alat siber, membangun sistem pengawasan, mengembangkan malware, dan melakukan aktivitas berisiko tinggi lainnya. Mereka juga berupaya melewati pengamanan dengan membagi tugas, menggunakan layanan proksi, dan menggabungkan beberapa model.
Akibatnya, fokus keamanan AI akan semakin bergeser dari “apa yang dikatakan model” menjadi “apa yang dapat dilakukan model”.
Pentingnya pengelolaan izin, pemanggilan alat, audit aktivitas, batasan tugas, konfirmasi manusia, dan pemantauan real-time akan meningkat sejalan dengan perubahan ini.
Mengapa “Pengembangan Yang Lebih Cepat” Tidak Selalu Berarti “Kemajuan AI Yang Lebih Cepat”
Di permukaan, persaingan dalam industri AI tampak mengikuti satu jalur: pihak yang melatih model lebih cepat dapat meluncurkan model yang lebih kuat lebih awal.
Namun, kecepatan R&D yang sesungguhnya harus dibagi menjadi dua variabel: Kecepatan Kemampuan + Kecepatan Keamanan
Dengan kata lain: kecepatan pertumbuhan kemampuan + kecepatan pertumbuhan kemampuan keamanan
Jika pertumbuhan kemampuan terus meningkat tanpa peningkatan yang sepadan pada kemampuan keamanan, perusahaan pada akhirnya mungkin harus mengejar ketertinggalan pada tahap yang jauh lebih lanjut.
Sebagai contoh, sebuah model mungkin telah memiliki kemampuan siber yang kuat, sementara sistem pemantauannya hanya dapat mengidentifikasi serangan sederhana. Sebuah Agent mungkin dapat menjalankan puluhan langkah, sementara sistem izinnya masih dirancang berdasarkan logika chatbot biasa. Sebuah model mungkin telah memiliki kemampuan penalaran ilmiah yang kuat, sementara sistem evaluasinya masih terutama mengandalkan benchmark tanya jawab tradisional.
Dalam keadaan seperti ini, peningkatan kemampuan model tidak selalu berarti bahwa sistem tersebut siap di-deploy di lingkungan dunia nyata yang lebih luas.
Pernyataan publik OpenAI pada Agustus merupakan contoh yang umum. Seiring meningkatnya risiko keamanan yang terkait dengan Astra, perusahaan tersebut menyatakan bahwa mereka perlu memperlambat perluasan untuk sementara waktu guna memperkuat kemampuan pemantauan, alignment, dan keamanan.
Oleh karena itu, perlambatan tidak selalu menunjukkan kegagalan teknis.
Dalam beberapa kasus, hal tersebut bahkan dapat menandakan bahwa sistem R&D sedang memasuki tahap yang lebih matang: tim pengembangan mulai menyadari bahwa pertumbuhan kemampuan tidak dapat menggantikan infrastruktur keamanan.
Hal Yang Sebenarnya Perlu Dikendalikan Dalam Penggunaan AI Adalah “Izin”, Bukan “Akses”
Saat perusahaan men-deploy AI, pertanyaan yang paling sering dibahas adalah apakah mereka seharusnya menggunakan AI.
Namun, pertanyaan tersebut terlalu luas. Pertanyaan yang lebih efektif mencakup:
-
Apa yang dapat dilihat AI?
-
Apa yang dapat diakses AI?
-
Apa yang dapat diubah AI?
-
Kapan AI harus memperoleh persetujuan manusia?
Pertanyaan-pertanyaan ini menentukan batasan izin AI.
Penelitian IBM tahun ini mengenai penggunaan AI di perusahaan menunjukkan bahwa seiring perusahaan memperluas deployment AI, mereka menghadapi masalah yang semakin signifikan terkait pengendalian dan ketergantungan. Dalam survei tersebut, 71% eksekutif menyatakan bahwa mengganti penyedia atau model AI utama mereka saat ini akan sulit, sedangkan 91% responden menyatakan bahwa perusahaan mereka masih belum sepenuhnya memahami ketergantungan mereka pada berbagai penyedia AI, model, dan infrastruktur.
Hal ini menunjukkan bahwa kehati-hatian dalam penggunaan AI bukan semata-mata persoalan bagi tim keamanan.
Hal ini berkaitan erat dengan arsitektur perusahaan, ketergantungan pada vendor, kedaulatan data, kelangsungan bisnis, dan kemampuan organisasi untuk mempertahankan kendali.
Perusahaan dapat menggunakan AI secara agresif sekaligus memberikan izin secara konservatif.
Sebagai contoh, AI dapat membuat kode secara otomatis tanpa diizinkan untuk langsung mengunggahnya ke lingkungan produksi. AI dapat menganalisis data pelanggan tanpa diizinkan untuk mengubah akun inti. AI dapat menghasilkan rekomendasi pengadaan tanpa diizinkan untuk mengeksekusi pembayaran dalam jumlah besar secara otomatis.
Otonomi terbatas semacam ini dapat menjadi jalur utama deployment Agent di perusahaan.
AI Yang Lebih Kuat Dapat Membuat “Konfirmasi Manusia” Menjadi Lebih Penting
Sebagian pihak meyakini bahwa jika AI menjadi cukup kuat, AI pada akhirnya harus sepenuhnya otomatis.
Dalam praktiknya, hal yang terjadi mungkin justru sebaliknya. Semakin dekat AI dengan keputusan bernilai tinggi, semakin besar kemungkinan perusahaan mensyaratkan konfirmasi manusia pada titik-titik penting. Hal ini bukan karena manusia selalu lebih akurat daripada AI, melainkan karena struktur tanggung jawab yang mereka emban berbeda.
Perusahaan tidak hanya membutuhkan jawaban yang benar. Mereka juga perlu mengetahui siapa yang menyetujui suatu tindakan, alasan tindakan tersebut disetujui, data yang menjadi dasar tindakan, dan bagaimana akuntabilitas akan ditetapkan jika terjadi kesalahan.
Oleh karena itu, human-in-the-loop tidak boleh dipandang sebagai solusi sementara selama kemampuan AI masih belum memadai.
Dalam industri berisiko tinggi seperti keuangan, layanan kesehatan, keamanan siber, TI perusahaan, dan sektor lainnya, pendekatan ini kemungkinan akan menjadi komponen arsitektur inti dari sistem AI yang matang. Khususnya untuk sistem Agent, desain yang benar-benar matang mungkin bukan AI yang sepenuhnya otonom, melainkan: AI Otonom Dalam Batasan—AI dapat beroperasi secara otonom dalam parameter yang telah ditentukan, sementara batasan yang jelas tetap diberlakukan untuk izin, jumlah, cakupan data, dan operasi berisiko tinggi.
Keamanan AI Bergeser Dari “Fitur Tambahan” Menjadi Infrastruktur
Jika melihat kembali masa lalu industri perangkat lunak, keamanan sering diperlakukan sebagai lapisan tambahan yang ditambahkan setelah pengembangan selesai. Namun, seiring berkembangnya cloud computing, identitas, izin, enkripsi, log, pemantauan, dan pengelolaan kerentanan secara bertahap menjadi infrastruktur.
AI mungkin sedang mengalami transisi serupa. Di masa depan, platform AI yang benar-benar matang akan membutuhkan lebih dari sekadar kemampuan model. Platform tersebut juga memerlukan sistem identitas, pengendalian izin, evaluasi model, pemantauan perilaku, isolasi alat, batasan data, log audit, dan kemampuan respons insiden.
Penjelasan keamanan Astra yang baru-baru ini diterbitkan OpenAI telah mencerminkan tren ini, termasuk pemantauan seluruh jejak eksekusi, isolasi internal yang lebih ketat, dan evaluasi alignment sebelum peluncuran.
Pekerjaan keamanan publik Anthropic juga semakin menekankan pengamatan terhadap serangan dunia nyata yang melibatkan penggunaan model dan pemanfaatan pengamatan tersebut untuk meningkatkan pengamanan.
Oleh karena itu, keamanan AI itu sendiri dapat menjadi lapisan infrastruktur baru.
Kemampuan model akan terus berkembang secara vertikal, sementara infrastruktur keamanan akan meluas secara horizontal di seluruh tahap pengembangan, pengujian, deployment, penggunaan, dan audit pascainsiden.
Kehati-Hatian Bukan Kebalikan Dari Pengembangan AI, Melainkan Dapat Menjadi Keunggulan Kompetitif Berikutnya
Jika industri AI pada akhirnya memasuki tahap yang lebih matang, kriteria yang digunakan untuk membandingkan pasar dapat berubah.
Pada masa awal, orang membandingkan jumlah parameter setiap model, performa benchmark, dan kecepatan peluncuran produk.
Tahap berikutnya mungkin akan mencakup pertanyaan seperti:
-
Siapa yang dapat menyelesaikan evaluasi kemampuan berisiko tinggi dengan lebih cepat?
-
Siapa yang dapat menerapkan pengendalian izin dengan biaya lebih rendah?
-
Siapa yang dapat mengidentifikasi perilaku model yang tidak normal dengan lebih akurat?
-
Siapa yang dapat lebih baik dalam mendukung persyaratan kepatuhan perusahaan?
-
Siapa yang dapat mengurangi insiden AI tanpa mengorbankan efisiensi produksi?
Ini berarti keamanan itu sendiri dapat menjadi kemampuan produk.
Penelitian IBM terhadap perusahaan menunjukkan bahwa organisasi dengan kemampuan pengendalian AI yang lebih kuat memiliki perlindungan yang lebih baik terhadap guncangan risiko terkait AI.
Oleh karena itu, kehati-hatian tidak berarti mengembalikan AI ke tahap dengan kemampuan yang lebih rendah.
Tujuan yang benar-benar matang seharusnya adalah: menjaga laju pertumbuhan kemampuan AI sedekat mungkin dengan laju kemampuan manusia untuk memahami, mengendalikan, dan bertanggung jawab atas konsekuensinya.
Inilah yang mungkin menjadi pertanyaan yang benar-benar perlu dijawab oleh pengembangan AI frontier saat memasuki tahap berikutnya.
FAQ
Mengapa Pengembangan Melambat Saat AI Menjadi Semakin Kuat?
Karena semakin kuat kemampuan sebuah model, semakin luas pula potensi dampaknya. Setelah model memperoleh kemampuan pemanggilan alat dan eksekusi otonom, kesalahan mungkin tidak lagi berhenti pada lapisan output, tetapi berubah menjadi tindakan di dunia nyata. Oleh karena itu, kecepatan pengembangan perlu berjalan seiring dengan kemampuan evaluasi dan keamanan.
Apakah Menggunakan AI Dengan Hati-Hati Berarti Perusahaan Harus Mengurangi Penggunaan AI?
Tidak. Pendekatan yang lebih efektif adalah memperluas cakupan penggunaan AI sekaligus mengendalikan cakupan izinnya. Perusahaan dapat mengizinkan AI menangani banyak pekerjaan, sementara operasi berisiko tinggi tetap memerlukan persetujuan manusia.
Mengapa Agent Membuat Masalah Keamanan AI Menjadi Lebih Penting?
Karena Agent tidak hanya menghasilkan konten, tetapi juga dapat terus-menerus memanggil alat untuk menjalankan tugas. Seiring rantai eksekusi menjadi lebih panjang dan izin meningkat, satu kesalahan dapat menimbulkan konsekuensi dunia nyata yang lebih serius.
Apakah Keamanan AI Dapat Menjadi Hambatan Kompetitif Baru?
Sangat mungkin. Seiring kemampuan model menjadi semakin serupa, kemampuan evaluasi, pemantauan, pengendalian izin, dan tata kelola perusahaan dapat menjadi faktor penting yang memengaruhi laju komersialisasi.
