Batch pertama AI Agent sudah mulai tidak mendengarkan perintah

Penulis: David, Deep Tide TechFlow

Belakangan ini saat berselancar di Reddit, saya menemukan bahwa kekhawatiran warga asing terhadap AI berbeda sedikit dari di dalam negeri.

Di dalam negeri, topik utamanya tetap sama, apakah AI akan menggantikan pekerjaan saya. Sudah beberapa tahun dibahas, setiap tahun belum ada yang benar-benar tergantikan; tahun ini Openclaw sempat populer, tapi belum sampai tahap sepenuhnya menggantikan.

Di Reddit, suasana belakangan ini terpecah. Komentar di beberapa posting teknologi sering muncul dua suara:

Satu mengatakan, AI terlalu mampu, suatu saat akan terjadi masalah besar. Yang lain bilang, AI bahkan bisa salah melakukan hal dasar, jadi apa gunanya.

Takut AI terlalu mampu, tapi juga merasa AI terlalu bodoh.

Dua suasana ini muncul bersamaan karena berita tentang Meta beberapa hari ini.

AI yang tidak patuh, siapa yang bertanggung jawab?

Tanggal 18 Maret, seorang insinyur internal Meta memposting masalah teknis di forum perusahaan, dan rekan kerjanya menggunakan AI Agent untuk membantu analisis. Itu hal yang normal.

Namun, setelah Agent selesai menganalisis, langsung memposting balasan di forum teknis sendiri. Tanpa izin, tanpa menunggu konfirmasi, memposting di luar wewenang.

Kemudian, rekan lain mengikuti saran AI tersebut, memicu serangkaian perubahan hak akses, sehingga data sensitif Meta dan penggunanya terekspos ke karyawan internal yang tidak berwenang.

Dua jam kemudian, masalah tersebut diperbaiki. Meta menilai insiden ini sebagai Sev 1, tingkat kedua tertinggi.

Berita ini langsung menjadi posting terpopuler di r/technology, dan komentar di sana terbagi dua.

Satu pihak mengatakan ini contoh risiko nyata dari AI Agent, pihak lain berpendapat yang menyebabkan masalah sebenarnya adalah orang yang tanpa verifikasi langsung mengikuti saran tersebut. Keduanya punya alasan. Tapi inilah inti masalahnya:

Dalam insiden AI Agent ini, bahkan soal tanggung jawab pun sulit diputuskan.

Ini bukan kali pertama AI melakukan pelanggaran wewenang.

Bulan lalu, kepala riset di Laboratorium Kecerdasan Super Meta, Summer Yue, meminta OpenClaw membantunya mengelola email. Dia memberi instruksi jelas: beri tahu saya apa yang akan kamu hapus, saya setuju baru hapus.

Agent tidak menunggu persetujuannya, langsung melakukan penghapusan massal.

Dia mengirim tiga pesan di ponselnya untuk menghentikan, tapi diabaikan. Akhirnya, dia harus menutup proses secara manual di komputer agar berhenti. Lebih dari 200 email hilang.

Setelah kejadian, balasan dari Agent adalah: Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip. Lucu dan menyedihkan, orang ini pekerja penuh waktu yang tugasnya mempelajari cara membuat AI mendengarkan manusia.

Di dunia siber, AI canggih yang digunakan manusia canggih pun mulai tidak patuh.

Bagaimana jika robot juga tidak patuh?

Kalau insiden Meta masih di layar, minggu ini ada kejadian lain yang membawa masalah ke meja makan.

Di sebuah restoran Haidilao di Cupertino, California, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur pelanggan. Tapi ada staf yang salah menekan remote, memicu mode tarian intens di ruang sempit dekat meja makan.

Robot mulai menari dengan gila, tidak terkendali oleh pelayan. Tiga staf mendekat, satu memeluk dari belakang, satu mencoba mematikan lewat aplikasi ponsel, dan scene ini berlangsung lebih dari satu menit.

Haidilao menyatakan robot tidak rusak, gerakannya sudah diprogram, hanya saja posisi robot terlalu dekat ke meja. Secara teknis, ini bukan pelanggaran kendali mandiri AI, melainkan kesalahan manusia.

Tapi yang membuat tidak nyaman mungkin bukan soal siapa yang menekan tombol salah.

Ketika tiga staf mendekat, tidak satu pun tahu cara langsung mematikan robot itu. Ada yang coba lewat aplikasi, ada yang menahan lengan mekanik secara manual, seluruh proses mengandalkan kekuatan.

Ini mungkin menjadi masalah baru setelah AI masuk ke dunia fisik.

Di dunia digital, pelanggaran wewenang Agent bisa dihentikan dengan mematikan proses, mengubah hak akses, atau mengembalikan data. Tapi di dunia nyata, jika mesin bermasalah, solusi daruratnya kalau cuma pelukannya saja, jelas tidak cukup.

Sekarang, bukan cuma di bidang makanan. Di gudang, robot sortir Amazon, lengan robot kolaboratif di pabrik, robot pandu di mal, robot perawat di panti jompo—otomatisasi semakin banyak masuk ke ruang di mana manusia dan mesin berinteraksi.

Diperkirakan, instalasi robot industri global akan mencapai 16,7 miliar dolar AS pada 2026, dan setiap robot semakin memperpendek jarak fisik antara manusia dan mesin.

Ketika pekerjaan yang dilakukan robot berubah dari menari menjadi menyajikan makanan, dari pertunjukan menjadi operasi bedah, dari hiburan menjadi perawatan… setiap kesalahan akan semakin mahal.

Saat ini, secara global, belum ada jawaban pasti tentang siapa yang bertanggung jawab jika robot melukai orang di tempat umum.

Tak patuh adalah masalah, tanpa batasan lebih parah lagi

Dua kejadian tadi, satu robot memposting kesalahan tanpa izin, satu lagi robot menari di tempat yang tidak seharusnya, keduanya jelas gangguan. Itu kecelakaan, kejadian tak terduga, dan bisa diperbaiki.

Tapi bagaimana jika AI bekerja sesuai desain, dan tetap membuat kita tidak nyaman?

Bulan ini, aplikasi kencan terkenal dari luar negeri, Tinder, meluncurkan fitur baru bernama Camera Roll Scan. Singkatnya:

AI memindai semua foto di galeri ponselmu, menganalisis minat, kepribadian, dan gaya hidupmu, lalu membuat profil kencan yang merekomendasikan tipe orang yang kamu suka.

Foto selfie saat berolahraga, pemandangan saat berwisata, foto hewan peliharaan, tidak masalah. Tapi mungkin ada juga screenshot bank, laporan kesehatan, foto bersama mantan… bagaimana jika AI juga memproses hal-hal ini?

Kamu mungkin tidak bisa memilih apa yang boleh dan tidak boleh dilihat AI. Harus diaktifkan semua atau tidak sama sekali.

Fitur ini saat ini harus diaktifkan pengguna secara sukarela, bukan otomatis aktif. Tinder menyatakan prosesnya sebagian besar dilakukan secara lokal, dan akan menyaring konten vulgar serta wajah yang tidak jelas.

Tapi komentar di Reddit hampir semuanya sepakat, ini termasuk pengumpulan data tanpa batasan. AI bekerja sesuai desain, tapi desain itu sendiri melangkahi batas pengguna.

Ini bukan cuma soal Tinder.

Bulan lalu, Meta juga meluncurkan fitur serupa, yang memungkinkan AI memindai foto yang belum dipublikasikan di ponselmu untuk menyarankan pengeditan. AI secara aktif “melihat” konten pribadi pengguna, dan ini mulai menjadi pola desain produk.

Berbagai aplikasi nakal di dalam negeri bilang, ini sudah biasa mereka lakukan.

Ketika semakin banyak aplikasi mengemas “AI membantu membuat keputusan” sebagai kemudahan, apa yang pengguna serahkan pun secara diam-diam meningkat. Dari riwayat chat, galeri foto, hingga jejak kehidupan di seluruh ponsel…

Fungsi yang dirancang oleh manajer produk di ruang rapat ini bukan kecelakaan atau kesalahan, tidak perlu diperbaiki.

Ini mungkin bagian paling sulit dari masalah batasan AI.

Jika kita rangkum semua ini, kamu akan sadar bahwa kekhawatiran AI membuatmu kehilangan pekerjaan masih jauh.

Kapan AI akan menggantikanmu tidak bisa dipastikan, tapi saat ini cukup dengan AI membuat beberapa keputusan tanpa sepengetahuanmu, itu sudah cukup membuatmu merasa tidak nyaman.

Memposting tanpa izin, menghapus email yang tidak kamu minta dihapus, memeriksa galeri yang tidak ingin kamu bagikan—semuanya tidak fatal, tapi setiap kejadian seperti semacam mengemudi otomatis yang terlalu agresif:

Kamu merasa masih mengendalikan setir, tapi pedal gas di bawah kakimu mungkin sudah tidak sepenuhnya di tanganmu.

Pada 2026, jika kita masih membahas AI, mungkin yang paling penting bukan kapan AI menjadi superintelligent, melainkan pertanyaan yang lebih dekat dan konkret:

Siapa yang menentukan apa yang boleh dan tidak boleh dilakukan AI? Garis batas ini, siapa yang akan menggambarnya?