Para peneliti belajar memperlambat model AI dengan jebakan logika - ForkLog

ИИ-агенты AI agents# Peneliti Berhasil Memperlambat Model AI dengan Jebakan Logis

Para ahli dari Universitas Zhejiang dan Alibaba mempresentasikan kelas serangan baru pada sistem AI di ICML 2026 di Seoul, tulis IEEE Spectrum. Tujuan mereka bukan untuk meretas model atau mengakses data, melainkan membuatnya memproses permintaan begitu lama sehingga menjadi tidak berguna.

Bagaimana metode baru bekerja

Model penalaran – tidak seperti LLM biasa – memecah tugas menjadi langkah-langkah berurutan sebelum menjawab. Mereka semakin sering digunakan dalam sistem yang memerlukan analisis multi-tahap yang kompleks.

Saat bekerja dengan data yang tidak lengkap atau kontradiktif, model-model tersebut cenderung berpikir berlebihan – menghasilkan rantai penalaran yang terlalu panjang. Ini meningkatkan waktu pemrosesan permintaan dan konsumsi sumber daya komputasi. Dalam sistem otomatis, ini membuka vektor untuk serangan DoS.

Para peneliti mengembangkan metode yang sengaja memicu perilaku tersebut. Algoritma genetika mengacak kondisi tugas, menghapus premis utama, dan menambahkan yang tidak perlu. Kemudian ia memilih varian yang menghasilkan respons terpanjang.

Pada tolok ukur MATH, panjang penalaran meningkat 26,1 kali lipat. Metode ini melampaui cara-cara yang ada untuk dampak semacam itu. Yang rentan adalah DeepSeek-R1, Qwen3-Thinking, GPT-o3, dan Gemini 2.5 Flash.

Penulis juga menemukan bahwa permintaan yang dibuat untuk satu model kecil ternyata efektif terhadap sistem lain, termasuk proyek komersial besar. Ini memungkinkan persiapan serangan terhadap layanan tertutup tanpa biaya besar.

“Tujuan kami bukan untuk menunjukkan bahwa serangan skala besar mungkin dilakukan dengan biaya minimal, melainkan untuk mencatat bahwa permukaan serangan ini ada,” tulis salah satu peneliti, Wei Cao, dalam surat kepada IEEE Spectrum.

Mengapa ini penting

Model penalaran semakin sering digunakan dalam sistem AI agen, termasuk bot perdagangan, alat audit kontrak pintar, dan infrastruktur terdesentralisasi.

Di DeFi, asisten digital berbasis kecerdasan buatan mengelola dana nyata tanpa campur tangan manusia. Kegagalan logika – termasuk yang disebabkan secara sengaja – menciptakan risiko operasional.

Pekerjaan baru ini bertumpu pada fitur yang sudah diketahui dari model penalaran – kecenderungan untuk berpikir berlebihan. Pada Februari 2025, sekelompok peneliti menganalisis 4018 lintasan agen dan mengidentifikasi pola berulang dari pemikiran berlebihan pada model:

  • Kelumpuhan analisis — model terus bernalar alih-alih menyelesaikan tugas;
  • Tindakan tidak terduga — setelah kesalahan, mencoba melakukan beberapa tindakan sekaligus;
  • Penyelesaian prematur — menghentikan tugas tanpa memeriksa hasil.

Model penalaran ternyata lebih rentan terhadap pemikiran berlebihan. Semakin kuat efeknya, semakin rendah hasilnya.

Sebagai pengingat, pada awal Juli 2026, analis memperingatkan bahwa pengembangan lebih lanjut OpenAI dan Anthropic semakin bergantung pada ketersediaan daya komputasi, pendanaan pusat data, dan keputusan regulasi.

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan