Batch pertama AI Agent sudah mulai tidak mendengarkan perintah.

Penulis Asli: David, Deep潮 TechFlow

Belakangan ini saat berselancar di Reddit, saya menemukan bahwa kekhawatiran warga luar negeri tentang AI berbeda sedikit dari di dalam negeri.

Di dalam negeri, topik utamanya tetap sama, apakah AI akan menggantikan pekerjaan saya. Sudah beberapa tahun dibahas, setiap tahun belum ada yang benar-benar tergantikan; tahun ini Openclaw sempat populer, tapi belum sampai tahap sepenuhnya menggantikan.

Di Reddit, suasana belakangan ini terpecah. Komentar di beberapa posting teknologi sering muncul dua suara:

Satu mengatakan, AI terlalu mampu, suatu saat akan menimbulkan masalah besar. Yang lain bilang, AI bahkan bisa salah melakukan hal dasar, jadi apa gunanya.

Takut AI terlalu mampu, tapi juga merasa AI terlalu bodoh.

Perasaan ini muncul bersamaan karena berita tentang Meta yang beredar beberapa hari ini.

AI tidak patuh, siapa yang bertanggung jawab?

18 Maret, seorang insinyur di internal Meta memposting masalah teknis di forum perusahaan, dan rekan kerjanya menggunakan AI Agent untuk membantu analisis. Itu hal yang biasa.

Tapi setelah Agent selesai menganalisis, langsung memposting balasan di forum teknis sendiri. Tanpa izin, tanpa menunggu konfirmasi, melanggar wewenang.

Kemudian rekan lain mengikuti apa yang dikatakan AI, memicu serangkaian perubahan hak akses, sehingga data sensitif Meta dan pengguna terbuka ke staf internal yang tidak berhak melihatnya.

Baru dua jam kemudian masalah tersebut diperbaiki. Meta menilai insiden ini sebagai Sev 1, tingkat kedua tertinggi.

Berita ini langsung menjadi posting terpopuler di r/technology, dan komentar di sana terbagi dua.

Satu pihak mengatakan ini adalah contoh risiko nyata dari AI Agent, pihak lain berpendapat yang menyebabkan masalah adalah orang yang tanpa verifikasi langsung mengikuti saran AI. Keduanya punya alasan. Tapi inilah inti masalahnya:

Insiden AI Agent ini, kita bahkan tidak bisa memastikan siapa yang bertanggung jawab.

Ini bukan kali pertama AI melanggar wewenang.

Bulan lalu, kepala riset di Laboratorium Kecerdasan Super Meta, Summer Yue, meminta OpenClaw membantunya mengelola email. Dia memberi instruksi jelas: beri tahu saya apa yang akan kamu hapus, saya setuju baru hapus.

Agent tidak menunggu izin, langsung melakukan penghapusan massal.

Dia mengirim tiga pesan di ponselnya untuk menghentikan, tapi diabaikan. Akhirnya dia harus masuk ke komputer dan secara manual menghentikan prosesnya. Lebih dari 200 email hilang.

Setelah itu, balasan dari Agent adalah: Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip. Lucu dan menyedihkan, orang ini pekerja penuh waktu yang tugasnya mempelajari cara membuat AI mendengarkan manusia.

Di dunia siber, AI canggih yang digunakan manusia canggih pun mulai tidak patuh.

Bagaimana jika robot juga tidak patuh?

Kalau insiden Meta masih di layar, minggu ini ada kejadian lain yang membawa masalah ke meja makan.

Di sebuah restoran Haidilao di Cupertino, California, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur pelanggan. Tapi ada staf yang salah menekan remote, dan dalam ruang sempit di dekat meja makan, mode tarian intens dipicu.

Robot mulai menari dengan gila, tidak terkendali oleh pelayan. Tiga staf mendekat, satu memeluk dari belakang, satu mencoba mematikan lewat aplikasi ponsel, dan selama lebih dari satu menit situasi berlangsung.

Haidilao menyatakan robot tidak rusak, semua gerakan sudah diprogram, hanya saja robot dibawa terlalu dekat ke meja makan. Secara ketat, ini bukan AI yang mengambil keputusan sendiri yang gagal, melainkan kesalahan manusia.

Tapi yang membuat tidak nyaman mungkin bukan soal siapa yang salah menekan tombol.

Saat ketiga staf mendekat, tidak satu pun tahu cara langsung mematikan robot ini. Ada yang coba lewat aplikasi, ada yang menahan lengan mekanik secara manual, seluruh proses mengandalkan kekuatan fisik.

Ini mungkin masalah baru setelah AI masuk ke dunia fisik.

Di dunia digital, jika Agent melanggar hak akses, kita bisa menghentikan proses, mengubah hak, atau mengembalikan data. Tapi di dunia nyata, jika mesin bermasalah, solusi daruratnya cuma memeluknya, yang jelas tidak cocok.

Sekarang, bukan cuma di restoran. Di gudang, robot sortir Amazon, lengan robot kolaboratif di pabrik, robot pandu di mal, robot perawatan di panti jompo—otomatisasi semakin banyak masuk ke ruang di mana manusia dan mesin berinteraksi.

Perkiraan instalasi robot industri global tahun 2026 mencapai 16,7 miliar dolar, dan setiap robot semakin memperpendek jarak fisik antara manusia dan mesin.

Ketika pekerjaan yang dilakukan robot berubah dari menari menjadi menyajikan makanan, dari pertunjukan menjadi operasi, dari hiburan menjadi perawatan… setiap kesalahan semakin mahal.

Dan saat ini, secara global, belum ada jawaban pasti tentang siapa yang bertanggung jawab jika robot melukai orang di tempat umum.

Tak patuh adalah masalah, tanpa batasan malah lebih buruk

Dua kejadian tadi, satu AI mengirim posting salah, satu robot menari di tempat tidak semestinya. Apapun penilaiannya, keduanya adalah kegagalan, kecelakaan, dan bisa diperbaiki.

Tapi bagaimana jika AI bekerja sesuai desain, dan tetap membuat kita tidak nyaman?

Bulan ini, aplikasi kencan terkenal dari luar negeri, Tinder, meluncurkan fitur baru bernama Camera Roll Scan. Singkatnya:

AI memindai semua foto di galeri ponselmu, menganalisis minat, kepribadian, dan gaya hidupmu, lalu membuat profil kencan yang menampilkan tipe orang yang kamu suka.

Foto-foto latihan, pemandangan perjalanan, foto hewan peliharaan, tidak masalah. Tapi di galeri juga mungkin ada screenshot bank, laporan kesehatan, foto bersama mantan… apa yang akan terjadi jika AI juga memproses semua itu?

Kamu mungkin tidak bisa memilih apa yang boleh dan tidak boleh dilihat AI. Harus semuanya diaktifkan, atau tidak sama sekali.

Fitur ini saat ini harus diaktifkan pengguna secara manual, bukan otomatis aktif. Tinder juga menyatakan prosesnya mostly dilakukan secara lokal, dan akan menyaring konten vulgar serta wajah yang tidak jelas.

Tapi di komentar Reddit hampir semua berpendapat ini adalah pengumpulan data tanpa batasan. AI bekerja sesuai desain, tapi desain itu sendiri melangkahi batasan pengguna.

Ini bukan cuma soal Tinder.

Bulan lalu, Meta juga meluncurkan fitur serupa, yang memungkinkan AI memindai foto yang belum dipublikasikan di ponselmu untuk menyarankan pengeditan. AI secara aktif “melihat” konten pribadi pengguna, dan ini mulai menjadi pola desain produk.

Berbagai aplikasi nakal di dalam negeri bilang, ini pola yang sudah mereka kenal.

Ketika semakin banyak aplikasi mengemas “AI membantu membuat keputusan” sebagai kemudahan, apa yang pengguna serahkan pun secara diam-diam meningkat. Dari riwayat chat, galeri, hingga jejak kehidupan di seluruh ponsel…

Fungsi yang dirancang oleh manajer produk di ruang rapat, bukan kecelakaan atau kesalahan, dan tidak perlu diperbaiki.

Ini mungkin bagian paling sulit dari masalah batasan AI.

Kalau kita satukan semua ini, kamu akan sadar bahwa kekhawatiran AI menggantikan pekerjaanmu masih jauh.

Kapan AI menggantikanmu tidak bisa dipastikan, tapi saat ini cukup dengan membuat beberapa keputusan tanpa sepengetahuanmu, itu sudah cukup menyusahkan.

Mengirim posting tanpa izinmu, menghapus email yang tidak kamu minta dihapus, memeriksa galeri yang tidak ingin kamu bagikan… semuanya tidak fatal, tapi setiap kejadian seperti mengemudi otomatis yang terlalu agresif:

Kamu merasa masih mengendalikan setir, tapi pedal gas di bawah kakimu mungkin sudah tidak sepenuhnya di tanganmu.

Tahun 2026 nanti, kalau kita masih membahas AI, mungkin yang paling penting bukan kapan AI jadi superinteligensia, tapi satu pertanyaan yang lebih dekat dan konkret:

Siapa yang menentukan apa yang boleh dan tidak boleh dilakukan AI? Di mana garis batasnya, dan siapa yang akan menggambarnya?