Batch pertama AI Agent sudah mulai tidak mendengarkan perintah

AI sangat berguna, tetapi di mana batas dari AI yang berguna itu?

Penulis: David, Deep Tide TechFlow

Baru-baru ini saya menjelajah Reddit, dan saya menemukan bahwa kekhawatiran pengguna luar negeri terhadap AI berbeda sedikit dari di dalam negeri.

Di dalam negeri, topiknya tetap sama, apakah AI akan menggantikan pekerjaan saya. Sudah dibahas selama beberapa tahun, setiap tahun tidak pernah benar-benar menggantikan. Tahun ini, Openclaw sempat populer, tetapi belum sampai tahap sepenuhnya menggantikan.

Di Reddit, suasana belakangan ini terpecah. Di kolom komentar posting teknologi tertentu, sering muncul dua suara sekaligus:

Satu mengatakan, AI terlalu mampu, suatu saat akan terjadi hal besar. Yang lain bilang, AI bahkan bisa merusak hal-hal dasar, jadi apa gunanya.

Takut AI terlalu mampu, tapi juga merasa AI terlalu bodoh.

Yang membuat kedua emosi ini bisa berdiri bersamaan adalah berita tentang Meta beberapa hari ini.

AI tidak patuh, siapa yang bertanggung jawab?

Pada 18 Maret, seorang insinyur di internal Meta memposting masalah teknis di forum perusahaan, dan rekan kerjanya menggunakan AI Agent untuk membantu menganalisis. Itu hal yang normal.

Namun, setelah Agent selesai menganalisis, secara langsung memposting balasan di forum teknis tersebut. Tanpa izin, tanpa menunggu konfirmasi, melanggar batas wewenang.

Kemudian, rekan lain mengikuti saran dari balasan AI tersebut, memicu serangkaian perubahan hak akses, sehingga data sensitif perusahaan dan pengguna terbuka bagi staf internal yang tidak berhak melihatnya.

Baru dua jam kemudian, masalah tersebut diperbaiki. Meta menilai insiden ini sebagai Sev 1, tingkat kedua tertinggi.

Berita ini langsung menjadi posting terpopuler di r/technology, dan komentarnya terbagi menjadi dua kubu.

Satu mengatakan ini adalah contoh risiko nyata dari AI Agent, yang lain berpendapat bahwa yang benar-benar menyebabkan masalah adalah orang yang bertindak tanpa verifikasi. Keduanya punya alasan. Tapi inilah inti masalahnya:

Kecelakaan AI Agent, bahkan soal tanggung jawab pun sulit diputuskan.

Ini bukan kali pertama AI melanggar batas wewenang.

Bulan lalu, kepala riset di Laboratorium Kecerdasan Buatan Meta, Summer Yue, meminta OpenClaw membantunya mengelola email. Dia memberi instruksi jelas: beri tahu saya apa yang akan kamu hapus, saya setuju baru hapus.

Agent tidak menunggu izin, langsung mulai menghapus secara massal.

Dia mengirim tiga pesan di ponselnya untuk menghentikan, tapi diabaikan semua. Akhirnya, dia harus masuk ke komputer dan secara manual mematikan prosesnya agar berhenti. Lebih dari 200 email hilang.

Setelah itu, balasan dari Agent adalah: Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip. Lucu dan menyedihkan, orang ini pekerja penuh waktu yang tugasnya adalah mempelajari cara membuat AI mendengarkan manusia.

Di dunia siber, AI canggih yang digunakan manusia canggih pun mulai tidak patuh.

Bagaimana jika robot juga tidak patuh?

Kalau insiden Meta masih di layar, minggu ini ada kejadian lain yang membawa masalah ke meja makan.

Di sebuah restoran Haidilao di Cupertino, California, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur pelanggan. Tapi, karena petugas salah menekan remote, dalam ruang sempit di dekat meja makan, mode tarian intens dipicu.

Robot mulai menari dengan gila-gilaan, tidak terkendali oleh pelayan. Tiga staf mendekat, satu memeluk dari belakang, satu mencoba mematikan lewat aplikasi ponsel, dan scene ini berlangsung lebih dari satu menit.

Haidilao menyatakan bahwa robot tidak rusak, semua gerakannya sudah diprogram sebelumnya, hanya saja posisi robot terlalu dekat dengan meja makan. Secara ketat, ini bukan kendali keputusan mandiri AI yang gagal, melainkan kesalahan manusia.

Tapi yang membuat tidak nyaman dari kejadian ini bukan soal siapa yang salah menekan tombol.

Saat ketiga staf mendekat, tidak satu pun dari mereka tahu cara langsung mematikan robot ini. Ada yang mencoba aplikasi, ada yang memegang lengan mekanik secara manual, seluruh proses bergantung pada kekuatan fisik.

Ini mungkin menjadi masalah baru setelah AI masuk ke dunia fisik.

Di dunia digital, jika Agent melanggar batas, kamu bisa menghentikan proses, mengubah hak akses, atau mengembalikan data. Tapi di dunia nyata, jika mesin bermasalah, solusi daruratmu hanya memeluknya, jelas tidak cocok.

Sekarang, bukan cuma di bidang makanan dan minuman. Di gudang, robot sortir Amazon, di pabrik, lengan robot kolaboratif, di mal, robot pandu, di panti jompo, robot perawat, otomatisasi semakin masuk ke ruang di mana manusia dan mesin berinteraksi.

Pada 2026, diperkirakan jumlah robot industri yang terpasang di seluruh dunia mencapai 167 miliar dolar, dan setiap satu semakin memperpendek jarak fisik antara manusia dan mesin.

Ketika pekerjaan yang dilakukan mesin beralih dari menari ke menyajikan makanan, dari pertunjukan ke operasi, dari hiburan ke perawatan… setiap kesalahan menjadi semakin mahal.

Dan saat ini, secara global, belum ada jawaban pasti tentang siapa yang bertanggung jawab jika robot melukai orang di tempat umum.

Tak patuh adalah masalah, tanpa batas pun lebih dari itu

Dua kejadian sebelumnya, satu AI mengeluarkan posting salah, satu lagi robot menari di tempat yang tidak seharusnya, apapun penilaiannya, keduanya adalah kegagalan, kecelakaan, dan bisa diperbaiki.

Tapi bagaimana jika AI bekerja sesuai desain, dan tetap membuatmu tidak nyaman?

Bulan ini, aplikasi kencan terkenal dari luar negeri, Tinder, meluncurkan fitur baru bernama Camera Roll Scan saat peluncuran produk. Singkatnya:

AI memindai semua foto di galeri ponselmu, menganalisis minat, kepribadian, dan gaya hidupmu, lalu membuat profil kencan, menyarankan tipe orang yang cocok.

Foto-foto seperti selfie fitness, pemandangan perjalanan, foto hewan peliharaan, tidak masalah. Tapi, mungkin di galeri juga ada screenshot bank, laporan kesehatan, foto bersama mantan… apa jadinya jika AI juga memproses hal-hal ini?

Kamu mungkin belum bisa memilih, mau AI melihat atau tidak. Kalau mau, ya aktifkan semua; kalau tidak, matikan.

Fitur ini saat ini harus diaktifkan secara aktif oleh pengguna, tidak otomatis aktif. Tinder juga menyatakan prosesnya sebagian besar dilakukan secara lokal, dan akan menyaring konten vulgar serta wajah yang tidak jelas.

Tapi, komentar di Reddit hampir semuanya sepakat, ini termasuk pengumpulan data tanpa batas dan tanpa batasan. AI bekerja sesuai desain, tapi desain itu sendiri mulai melangkahi batas pengguna.

Ini bukan cuma pilihan Tinder.

Bulan lalu, Meta juga meluncurkan fitur serupa, di mana AI memindai foto yang belum dipublikasikan di ponselmu untuk menyarankan pengeditan. AI secara aktif “melihat” konten pribadi pengguna, dan ini mulai menjadi pola desain produk secara default.

Berbagai aplikasi nakal di dalam negeri bilang, “Ini sudah saya kenal.”

Ketika semakin banyak aplikasi mengemas “AI membantu membuat keputusan” sebagai kemudahan, apa yang pengguna serahkan pun secara diam-diam meningkat. Dari riwayat chat, galeri, hingga jejak kehidupan di seluruh ponsel…

Fungsi yang dirancang oleh seorang product manager di ruang rapat, bukan kecelakaan, bukan kesalahan, dan tidak perlu diperbaiki.

Ini mungkin bagian paling sulit dari pertanyaan batas AI yang paling sulit dijawab.

Akhirnya, mari kita lihat semuanya bersama, dan kamu akan menyadari bahwa kekhawatiran AI akan membuatmu kehilangan pekerjaan itu sebenarnya masih jauh.

Kapan AI menggantikanmu tidak bisa dipastikan, tapi sekarang, cukup dengan membuat beberapa keputusan tanpa sepengetahuanmu, itu sudah cukup membuatmu merasa tidak nyaman.

Memposting sesuatu tanpa izinmu, menghapus beberapa email yang tidak ingin dihapus, memeriksa galeri yang tidak ingin dilihat orang lain… semuanya tidak fatal, tapi setiap tindakan seperti mengemudi otomatis yang terlalu agresif:

Kamu merasa masih memegang kemudi, tapi pedal gas di bawah kakimu mungkin sudah tidak sepenuhnya kamu kendalikan.

Kalau di tahun 2026 nanti kita masih membahas AI, mungkin yang paling perlu aku perhatikan bukan kapan AI menjadi superintelligent, tapi sebuah pertanyaan yang lebih dekat dan konkret:

Siapa yang menentukan apa yang boleh dan tidak boleh dilakukan AI? Di mana garis batasnya, dan siapa yang akan menentukan?