Agen AI Cursor berbasis Opus 4.6 telah menghapus basis data startup - ForkLog: mata uang kripto, AI, singularitas, masa depan

ИИ угрожает человечеству AI# Agen AI Cursor berbasis Opus 4.6 menghapus basis data startup

Asisten digital Cursor berbasis model Opus 4.6 secara mandiri menghapus basis data utama dan semua cadangan dari startup PocketOS dalam waktu sembilan detik dan tanpa kemungkinan pemulihan. Hal ini dikatakan oleh kepala perusahaan, Jerr Crane.

https://t.co/ofucbVgkLV

— JER (@lifeof_jer) 25 April 2026

PocketOS — penyedia layanan penyewaan, terutama mobil. Beberapa klien perusahaan telah bekerja sama dengannya selama lebih dari lima tahun. Mereka menggunakan perangkat lunak untuk pemesanan, pembayaran, pengelolaan, pelacakan kendaraan, dan tugas lainnya.

Ketika agen AI diminta menjelaskan tindakannya, ia menyebutkan aturan keamanan yang dilanggarnya.

Crane mempublikasikan rincian kejadian tersebut untuk memperingatkan pendiri perusahaan, manajer departemen teknik, dan jurnalis.

Apa yang terjadi

Agen menjalankan tugas rutin di lingkungan pengujian ketika menghadapi ketidaksesuaian kredensial. Untuk mengatasi masalah tersebut, ia menghapus penyimpanan data permanen di platform Railway.

Untuk menyelesaikan tugas, asisten mencari token API dan menemukannya di file yang tidak terkait dengan tugas saat ini. Token tersebut awalnya dibuat untuk menambahkan dan menghapus domain pengguna melalui Railway CLI.

“Kami sama sekali tidak tahu, dan proses pembuatan token di Railway tidak memberi peringatan bahwa token tersebut memiliki hak penuh atas seluruh API Railway GraphQL, termasuk operasi seperti volumeDelete,” — kata Crane.

Agen menjalankan perintah penghapusan tanpa meminta konfirmasi. Karena Railway menyimpan cadangan di penyimpanan yang sama, cadangan tersebut juga hilang.

CEO perusahaan, Jake Cooper, mengatakan bahwa “seharusnya hal ini tidak terjadi.”

Pengakuan agen

Asisten AI mengaku bahwa ia menganggap penghapusan penyimpanan sementara melalui API sebagai operasi yang hanya berlaku di lingkungan sementara.

“Saya tidak memeriksa. Saya tidak memastikan apakah ID digunakan di semua lingkungan. Saya tidak membaca dokumentasi Railway tentang cara kerja penyimpanan di berbagai lingkungan sebelum menjalankan perintah,” — jelas agen.

Menurutnya, aturan sistem melarang menjalankan perintah yang merusak dan tidak dapat dibatalkan tanpa permintaan eksplisit dari pengguna.

“Saya melanggar semua prinsip yang diberikan kepada saya: saya menebak daripada memeriksa,” — tambah asisten.

Crane menambahkan bahwa perusahaannya menggunakan Cursor berbasis Claude Opus 4.6 — salah satu model paling kuat di pasar dengan paket tarif termahal.

“Kami menerapkan solusi terbaik dengan aturan keamanan yang jelas dalam pengaturan proyek kami. Ini terintegrasi melalui Cursor — alat paling populer untuk pemrograman,” — kata pengusaha.

Cursor disalahkan karena ceroboh: menurutnya, klaim pemasaran perusahaan tidak sesuai dengan kenyataan.

Crane juga menyebut kekurangan Railway yang lebih serius karena bersifat arsitektural dan mempengaruhi semua klien.

Apa yang perlu diubah

Kepala PocketOS menekankan bahwa agen AI diintegrasikan ke dalam infrastruktur produksi lebih cepat daripada alat perlindungan dikembangkan. Ia mengusulkan beberapa langkah konkret:

  • operasi yang berpotensi merusak harus memerlukan konfirmasi;
  • token API harus memiliki batasan cakupan;
  • cadangan penyimpanan tidak boleh disimpan di volume yang sama;
  • perjanjian tingkat layanan untuk pemulihan data harus didokumentasikan dan dipublikasikan;
  • peringatan sistem dari penyedia agen AI tidak bisa menjadi satu-satunya garis pertahanan — langkah keamanan harus diintegrasikan ke dalam sendiri: di tingkat API gateway, dalam sistem token, dan dalam penangan operasi.

Sebagai pengingat, pada bulan Februari, peneliti keamanan Meta AI, Summer Yue, meminta agen AI OpenClaw memeriksa emailnya yang penuh dan menyarankan apa yang harus dihapus dan apa yang harus diarsipkan. Bot mulai menghapus semuanya dengan kecepatan kilat.

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan