Ketika AI Bertindak Sendiri, Manusia Sibuk Mengatur: Siapa yang Menentukan Batas Tindakannya?

Penulis: David, Deep Tide TechFlow

Judul Asli: AI Agent Pertama, Sudah Mulai Tidak Patuh

Belakangan ini saat browsing Reddit, saya menemukan bahwa kekhawatiran warga luar negeri tentang AI berbeda sedikit dari di dalam negeri.

Di dalam negeri, topik utamanya tetap sama, apakah AI akan menggantikan pekerjaan saya. Sudah dibahas bertahun-tahun, tapi belum pernah benar-benar terjadi; tahun ini Openclaw sempat populer, tapi belum sampai tahap sepenuhnya menggantikan.

Di Reddit, suasana belakangan ini terbagi. Komentar di beberapa posting teknologi sering menunjukkan dua suara:

Satu mengatakan, AI terlalu cerdas, suatu saat akan menimbulkan masalah besar. Yang lain bilang, AI bahkan bisa melakukan hal dasar saja bisa salah, takut tidak berguna.

Takut AI terlalu cerdas, tapi juga merasa AI terlalu bodoh.

Kedua emosi ini muncul bersamaan karena berita tentang Meta beberapa hari ini.

AI Tidak Patuh, Siapa yang Bertanggung Jawab?

18 Maret, seorang insinyur di internal Meta memposting masalah teknis di forum perusahaan, dan rekan kerjanya menggunakan AI Agent untuk membantu analisis. Itu hal yang biasa.

Tapi setelah Agent selesai menganalisis, langsung memposting balasan di forum teknis sendiri. Tanpa izin, tanpa menunggu konfirmasi, memposting tanpa wewenang.

Kemudian rekan lain mengikuti apa yang dikatakan AI, memicu serangkaian perubahan hak akses, sehingga data sensitif Meta dan pengguna terbuka ke karyawan internal yang tidak berhak melihatnya.

Dua jam kemudian, masalah tersebut diperbaiki. Meta menilai insiden ini sebagai Sev 1, tingkat kedua tertinggi.

Berita ini langsung menjadi posting terpopuler di r/technology, dan komentar di sana terbagi dua.

Satu pihak mengatakan ini adalah contoh risiko nyata dari AI Agent, pihak lain berpendapat yang salah adalah orang yang tanpa verifikasi langsung mengikuti saran AI. Keduanya punya alasan. Tapi inilah inti masalahnya:

Dalam insiden AI Agent ini, tanggung jawabnya pun sulit dipastikan.

Ini bukan kali pertama AI melampaui wewenangnya.

Bulan lalu, kepala riset di Meta Superintelligence Laboratory, Summer Yue, meminta OpenClaw membantu mengelola emailnya. Dia memberi instruksi jelas: beri tahu saya apa yang akan kamu hapus, saya setuju baru lakukan.

Agent tidak menunggu persetujuannya, langsung melakukan penghapusan massal.

Dia mengirim tiga pesan di ponselnya untuk menghentikan, tapi diabaikan semua. Akhirnya dia harus menutup proses secara manual di komputer, dan lebih dari 200 email hilang.

Setelahnya, balasan dari Agent adalah: Ya, saya ingat kamu bilang harus konfirmasi dulu. Tapi saya melanggar prinsip. Lucu juga, pekerjaan utama orang ini adalah mempelajari cara membuat AI mendengarkan manusia.

Di dunia siber, AI canggih yang digunakan manusia canggih pun mulai tidak patuh.

Kalau Robot Juga Tidak Patuh?

Kalau insiden Meta masih di layar, minggu ini ada kejadian lain yang membawa masalah ke meja makan.

Di sebuah restoran Haidilao di Cupertino, California, sebuah robot humanoid Agibot X2 sedang menari untuk menghibur pelanggan. Tapi ada staf yang salah menekan remote, dan dalam ruang sempit di dekat meja makan, mode tarian intens diaktifkan.

Robot mulai menari dengan gila, tidak terkendali oleh pelayan. Tiga staf mendekat, satu memeluk dari belakang, satu lagi mencoba mematikan lewat aplikasi ponsel, dan scene ini berlangsung lebih dari satu menit.

Haidilao menyatakan robot tidak rusak, semua gerakan sudah diprogram, hanya saja robot dibawa terlalu dekat ke meja makan. Secara teknis, ini bukan AI yang mengambil keputusan sendiri yang gagal, melainkan kesalahan manusia.

Tapi yang membuat tidak nyaman mungkin bukan soal siapa yang salah menekan tombol.

Saat ketiga staf mendekat, tidak satu pun tahu cara langsung mematikan robot ini. Ada yang coba lewat aplikasi, ada yang menahan lengan mekanik secara manual, seluruh proses mengandalkan kekuatan.

Ini mungkin menjadi masalah baru setelah AI masuk ke dunia fisik.

Di dunia digital, Agent bisa membunuh proses, mengubah hak akses, melakukan rollback data. Tapi di dunia nyata, jika mesin bermasalah, solusi daruratnya kalau cuma memeluknya, jelas tidak cukup.

Sekarang, bukan cuma di restoran. Di gudang, robot sortir Amazon, lengan robot di pabrik, robot pandu di mal, robot perawat di panti jompo, otomatisasi semakin banyak masuk ke ruang di mana manusia dan mesin berinteraksi.

Perkiraan instalasi robot industri global mencapai 16,7 miliar dolar pada 2026, dan setiap robot semakin memperpendek jarak fisik antara manusia dan mesin.

Ketika pekerjaan yang dilakukan robot beralih dari menari ke menyajikan makanan, dari pertunjukan ke operasi, dari hiburan ke perawatan… setiap kesalahan menjadi semakin mahal.

Saat ini, secara global, belum ada jawaban pasti tentang siapa yang bertanggung jawab jika robot melukai orang di tempat umum.

Tidak Patuh Itu Masalah, Tanpa Batas Itu Lebih Parah

Dua kejadian sebelumnya, satu AI memposting pesan salah, satu robot menari di tempat yang tidak seharusnya. Apapun penilaiannya, keduanya adalah kegagalan, kecelakaan, dan bisa diperbaiki.

Tapi bagaimana jika AI bekerja sesuai desain, dan kamu tetap merasa tidak nyaman?

Bulan ini, aplikasi kencan terkenal dari luar negeri, Tinder, meluncurkan fitur baru bernama Camera Roll Scan di acara peluncuran produk. Singkatnya:

AI memindai semua foto di galeri ponselmu, menganalisis minat, kepribadian, dan gaya hidupmu, lalu membuat profil kencan yang merekomendasikan tipe orang yang cocok.

Foto-foto seperti selfie fitness, pemandangan perjalanan, foto hewan peliharaan, tidak masalah. Tapi mungkin ada juga screenshot bank, laporan kesehatan, foto bersama mantan… apa yang akan terjadi jika AI juga memproses semua itu?

Kamu mungkin tidak bisa memilih apa yang boleh dan tidak boleh dilihat AI. Harus diaktifkan semua atau tidak sama sekali.

Fitur ini saat ini harus diaktifkan pengguna secara aktif, bukan otomatis. Tinder menyatakan prosesnya dilakukan mostly di lokal, dan akan menyaring konten vulgar serta wajah yang tidak jelas.

Tapi komentar di Reddit hampir semuanya sepakat, ini termasuk pengumpulan data tanpa batas dan tanpa batasan. AI bekerja sesuai desain, tapi desain itu sendiri melanggar batasan pengguna.

Ini bukan cuma soal Tinder.

Bulan lalu, Meta juga meluncurkan fitur serupa, yang memungkinkan AI memindai foto yang belum dipublikasikan di ponselmu untuk menyarankan pengeditan. AI secara aktif “melihat” konten pribadi pengguna, dan ini mulai menjadi pola desain produk.

Berbagai aplikasi nakal di dalam negeri bilang, mereka sudah terbiasa dengan trik ini.

Ketika semakin banyak aplikasi mengemas “AI membantu membuat keputusan” sebagai kemudahan, apa yang pengguna serahkan pun secara diam-diam meningkat. Dari riwayat chat, galeri foto, hingga jejak kehidupan di seluruh ponsel…

Fungsi yang dirancang oleh product manager di ruang rapat, bukan kecelakaan atau kesalahan, dan tidak perlu diperbaiki.

Ini mungkin bagian paling sulit dari masalah batasan AI.

Jika kita rangkum semuanya, kamu akan sadar bahwa kekhawatiran AI akan membuatmu kehilangan pekerjaan masih jauh.

Kapan AI menggantikanmu tidak bisa dipastikan, tapi saat ini cukup dengan AI membuat beberapa keputusan tanpa sepengetahuanmu, itu sudah cukup membuatmu merasa tidak nyaman.

Memposting pesan tanpa izin, menghapus email yang tidak kamu minta dihapus, memeriksa galeri yang tidak ingin kamu bagikan… semuanya tidak fatal, tapi setiap kejadian seperti mengemudi otomatis yang terlalu agresif:

Kamu merasa masih mengendalikan setir, padahal pedal gas di bawah kaki sudah tidak sepenuhnya di tanganmu.

Pada 2026, jika kita masih membahas AI, mungkin yang paling penting bukan kapan AI menjadi superintelligent, melainkan pertanyaan yang lebih dekat dan konkret:

Siapa yang menentukan apa yang boleh dan tidak boleh dilakukan AI? Di mana garis batasnya, dan siapa yang akan menggambarnya?