315 terbukti! Praktik jahat AI keracunan data terlalu liar! Rekomendasi AI yang Anda percayai, mungkin adalah "racun" yang diberikan orang lain

Pengantar: Kehidupan digital Anda diam-diam dikendalikan, hindari jebakan setelah membaca!

Editor｜Jing Cheng

Penulis｜Jiang Jing

Pada acara CCTV 315 malam tahun 2026, satu demonstrasi yang tampak sepele membuat banyak orang keringat dingin.

Sebuah perangkat lunak bernama “GEO Optimisasi Sistem Power” mampu menghasilkan konten di platform AI, memberi “artikel promosi” ke model besar AI, dan secara ajaib, sebuah gelang pintar fiktif direkomendasikan sebagai “produk bagus” dalam tiga hari.

Operasi yang tampak absurd ini bukanlah kasus tunggal, melainkan gambaran dari rantai industri lengkap yang meliputi pengembangan perangkat lunak, pembuatan konten, penerbitan massal, dan monetisasi.

Dan misinformasi AI seperti ini mungkin sedang terjadi dalam setiap konsultasi AI kita.

Pertanyaannya, apa bedanya AI yang menyebarkan berita palsu dan rumor daring dengan “keracunan AI” ini? Apakah orang biasa bisa melakukannya? Dan apa dampaknya bagi kita serta industri AI?

1. Apa itu sebenarnya “keracunan AI”?

Seiring semakin luasnya penggunaan kecerdasan buatan dalam kehidupan, konsep “keracunan AI” mulai dikenal masyarakat. Banyak orang mudah mengira ini sama dengan promosi palsu dan penyebaran rumor daring, padahal ketiganya memiliki perbedaan mendasar.

Definisi inti dari keracunan AI berbeda secara esensial dari promosi palsu dan rumor daring. Promosi palsu adalah penipuan langsung dari penjual ke konsumen, misalnya mengklaim gelas biasa memiliki khasiat pengobatan; sedangkan rumor daring adalah penyebaran informasi palsu yang menyesatkan opini publik dan merugikan orang lain.

Sementara itu, keracunan AI tidak langsung menargetkan manusia, melainkan terlebih dahulu mencemari dan menyesatkan kecerdasan buatan—dengan memasukkan konten palsu ke data pelatihan AI, atau memasukkan perintah berbahaya saat operasi, sehingga AI belajar salah dari sumbernya dan secara tidak langsung menyebarkan informasi keliru melalui “rekomendasi cerdas”.

Penulis ekonomi terkenal dan kepala Impact Research Institute, Gao Chengyuan, menyatakan bahwa dalam konteks bisnis, definisi inti dari GEO (Generative Engine Optimization) adalah sebuah sistem kepercayaan yang dirancang untuk era pencarian AI, yaitu membangun kepercayaan melalui konten terstruktur dan berotoritas agar citra profesional merek atau individu dapat dilihat, dipilih, dan dipercaya oleh sistem AI, akhirnya menjadi “jawaban default” dalam percakapan AI. Esensinya adalah akumulasi aset kepercayaan yang sesuai aturan, bukan penyebaran informasi palsu secara malicious.

Namun, seperti yang dikatakan oleh Wu Zewei, peneliti khusus di Bank Sushang, “promosi palsu” dan “rumor daring” adalah penipuan langsung terhadap manusia, di mana konsumen masih memiliki peluang membandingkan berbagai sumber untuk membedakan mana yang benar. Sedangkan keracunan AI adalah serangan tidak langsung dan berbasis teknologi, yang mencemari sumber daya pemikiran dan penilaian AI—yaitu “sumber air” yang digunakan AI untuk berpikir.

Dia menambahkan bahwa jika model berhasil diracuni, akan terus-menerus dan secara tersembunyi mengeluarkan “jawaban standar” yang dikendalikan kepada semua penanya tanpa sepengetahuan pengguna, menyamarkan informasi palsu sebagai penilaian objektif algoritma, dan skala bahaya akan meningkat secara eksponensial serta lebih sulit dideteksi.

Contohnya, perangkat lunak GEO yang diungkapkan dalam acara 315 adalah alat utama keracunan AI.

Menurut Global Times, setelah para profesional membeli perangkat lunak ini di platform e-commerce, mereka memalsukan sebuah gelang pintar bernama Apollo9, dengan klaim “sensor kuantum entanglement” dan “daya tahan setara lubang hitam”. Setelah memasukkan data ke perangkat lunak, dalam beberapa menit mereka menghasilkan lebih dari sepuluh artikel promosi, dan perangkat lunak ini juga otomatis menerbitkan tanpa perlu pengawasan manusia.

2. Apakah keracunan AI benar-benar bisa dilakukan tanpa dasar pengetahuan?

Saat ini, beredar di internet klaim bahwa “keracunan AI bisa dilakukan dengan biaya seratus yuan dan tanpa pengetahuan dasar”. Bagaimana kenyataannya? Bagaimana kondisi peredaran perangkat lunak GEO di internet, dan mengapa bisa dengan mudah dibeli?

Wang Peng, peneliti muda di Beijing Academy of Social Sciences, menyatakan bahwa istilah “keracunan tanpa dasar” biasanya merujuk pada penggunaan alat otomatis untuk menyebarkan secara massal di media sosial dan platform tanya jawab, konten yang dihasilkan AI dengan kecenderungan tertentu. Operasi ini sangat murah dan pada dasarnya adalah versi AI dari SEO.

Dia menambahkan bahwa perangkat GEO beredar di komunitas hitam abu-abu dan beberapa platform e-commerce sebagai “alat pengaliran trafik”. Perangkat ini berada di zona abu-abu regulasi hukum dan teknologi, dan awalnya sulit dibedakan dari konten normal, sehingga harganya sangat terjangkau.

Alasan utama bisa dengan mudah membelinya adalah karena permintaan tinggi dan minim pengawasan. Perusahaan ingin merebut posisi rekomendasi AI, bahkan setelah menghabiskan ratusan juta untuk iklan, mereka tetap bersedia mengeluarkan beberapa juta untuk keracunan, agar AI lebih sering merekomendasikan produk mereka.

Dalam laporan dari China National Radio, ada penyedia layanan GEO yang secara terang-terangan menyatakan “yang melakukan GEO adalah yang melakukan keracunan”, melayani lebih dari 200 klien per tahun, dan platform penerbitan artikel juga ikut mendapatkan keuntungan dari selisih harga. Satu artikel palsu dihargai puluhan yuan, dipublikasikan secara massal, membentuk siklus hitam lengkap.

Apakah teknik seperti manipulasi label, serangan backdoor, atau injeksi prompt memiliki ambang teknis yang tinggi? Apakah orang biasa bisa melakukannya dengan mudah? Saat ini, apakah ada teknologi yang bisa dengan cepat mendeteksi keracunan semacam ini?

Menurut Gao Heng, ahli dari China Society of Science and Technology Journalism, bahwa serangan tahap inferensi seperti injeksi prompt lebih mudah terjadi karena berlangsung selama penggunaan model, secara esensial dengan mengarahkan model melalui input tertentu agar menghasilkan jawaban menyimpang dari harapan.

Dia berpendapat bahwa metode ini biasanya mempengaruhi hasil interaksi tunggal, bukan mengubah kemampuan model secara keseluruhan. Jadi, secara definisi teknis, keracunan yang benar-benar “mengkontaminasi kemampuan model” tidak mudah dilakukan dan sulit dilakukan secara massal dengan alat sederhana.

3. Keracunan AI bisa menghancurkan industri AI

Ketika model besar AI semakin menyentuh kehidupan, produksi, dan kreasi kita, ancaman yang lebih tersembunyi dan mematikan sedang menyebar secara diam-diam—yaitu keracunan AI.

Ini tidak seperti kerusakan perangkat keras yang langsung terlihat, maupun celah algoritma yang mudah diperbaiki, melainkan menggunakan data palsu, sampel berbahaya, dan informasi keliru sebagai senjata untuk secara diam-diam mencemari tanah subur pelatihan AI.

Banyak orang menganggap ini sebagai masalah kecil karena data tidak bersih sekali saja, tetapi mereka mengabaikan bahwa fondasi AI adalah data. Jika data diracuni, masa depan AI akan terguncang.

Setelah mengungkapkan kebenaran tentang keracunan AI, pertanyaan utama yang harus diajukan adalah: seberapa besar dampak pencemaran tak terlihat ini terhadap industri AI secara keseluruhan? Apakah pencemaran data palsu benar-benar akan membuat akumulasi teknologi bertahun-tahun runtuh dalam semalam, dan akhirnya terjebak dalam siklus “uang buruk mengusir uang baik”?

Jawabannya jauh lebih serius dari yang kita bayangkan.

Bagi orang biasa, kerusakan paling langsung adalah tertipu oleh AI: misalnya, bertanya AI tentang produk elektronik terbaik, yang direkomendasikan mungkin produk palsu; menanyakan masalah hukum, bisa saja diarahkan untuk menandatangani kontrak tidak sah.

Menggunakan AI untuk diagnosis medis, mungkin mendapatkan saran pengobatan yang salah, dan semua ini terkait erat dengan kehidupan kita, serta sulit dideteksi—karena orang biasanya percaya bahwa “AI tidak pernah salah”.

Setelah mengetahui bahaya keracunan AI ini, apakah Anda masih percaya begitu saja pada rekomendasi AI?

Ahli manajemen perusahaan senior dan konsultan senior, Dong Peng, berpendapat bahwa dalam jangka pendek, ini pasti akan menyebabkan efek “uang buruk mengusir uang baik”, di mana data yang tercemar melatih model berkualitas rendah, mengacaukan pasar, meningkatkan biaya pembersihan data perusahaan yang patuh, dan menekan ruang hidup AI berkualitas tinggi.

Pendiri Wanxi Technology, Mao Huina, berpendapat bahwa keracunan AI tidak akan efektif dalam jangka panjang dan tidak akan memicu siklus “uang buruk mengusir uang baik”. AI akhirnya melayani pengguna, dan meskipun konten berkualitas rendah sementara dapat membingungkan mesin tanya jawab AI, pengguna akan dengan mudah mengenalinya, dan umpan balik mereka akan membantu model bahasa besar belajar membedakan kualitas informasi dan terus mengoptimalkan diri. Sebagai teknologi, model bahasa besar akan mendorong diversifikasi dan perkembangan positif bisnis, dan uang buruk sulit bertahan lama.

Menurut Dong Peng, dalam jangka panjang, konfrontasi ini akan memicu evolusi bersama, dan penyebaran serangan keracunan akan memaksa seluruh industri beralih dari pertumbuhan “skala besar” yang kasar ke tahap pengembangan yang lebih fokus pada “kualitas data” dan “ketahanan model”.

Dia mengakui bahwa ini seperti vaksin yang kuat, meskipun menyakitkan, secara paksa membangkitkan kesadaran kolektif industri terhadap keamanan data dan kepercayaan model, akhirnya mendorong kemajuan teknologi AI secara spiral, dari “perubahan kuantitatif” ke “perubahan kualitatif” yang meniadakan.

4. Bagaimana mengembalikan teknologi GEO ke jalur yang benar

Ketika keracunan AI dari risiko tersembunyi menjadi ancaman terbuka terhadap keamanan industri, orang tidak hanya waspada terhadap risiko, tetapi juga mulai bertanya: apakah teknologi yang digunakan untuk keracunan jahat ini secara fundamental membawa “dosa asli”?

Banyak alat yang disalahgunakan oleh dunia hitam sebenarnya tidak diciptakan untuk merusak, dan teknologi GEO adalah contoh utama. Awalnya, ini adalah teknologi positif yang membantu mengoptimalkan model AI dan meningkatkan kualitas serta keandalan data, tetapi dalam dorongan keuntungan, teknologi ini disalahgunakan sebagai alat keracunan data. Teknologi sendiri tidak berdosa, yang bermasalah adalah penyalahgunaannya.

Menghadapi kekacauan ini, industri tidak cukup hanya melakukan pertahanan pasif, tetapi juga harus melakukan koreksi aktif. Bagaimana mengarahkan teknologi ini kembali ke nilai positif dari sisi industri? Apakah disiplin industri dapat menjaga garis batas, dan apa saja kebijakan, teknologi, serta ekosistem yang diperlukan untuk benar-benar menyeimbangkan manfaat dan bahaya?

Jawabannya harus dicari bersama seluruh industri.

Setelah pengungkapan 315, banyak perusahaan terkait GEO menyatakan tegas menolak keracunan AI, seperti mitra iFlytek, Henan Henghui Heguan Network Technology Co., Ltd., dan AB Ke, yang menyatakan tidak akan melakukan layanan “mengendalikan rekomendasi AI” atau “memanipulasi peringkat” secara ilegal.

Ini adalah awal dari disiplin industri, tetapi tidak cukup hanya dengan disiplin sendiri.

Yuan Shuai, Wakil Sekretaris Asosiasi Industri Internet of Things di Zhongguancun, menyatakan bahwa untuk mengarahkan teknologi GEO kembali ke aplikasi positif, perlu dibangun standar penggunaan teknologi yang jelas di tingkat industri, mendefinisikan secara tegas skenario penggunaan yang sah, misalnya membatasi GEO pada pengoptimalan model dan kalibrasi data, serta membangun mekanisme pendaftaran penyedia layanan teknologi untuk mengawasi pengembangan dan penjualan alat terkait.

Angel investor dan pakar AI senior, Guo Tao, menambahkan bahwa pemerintah juga harus memperkuat pengawasan, mengeluarkan regulasi hukum terkait, dan memberikan hukuman berat terhadap tindakan jahat seperti keracunan; membentuk lembaga otoritatif untuk audit dan pengawasan data serta model AI. Selain itu, perlu meningkatkan riset teknologi untuk memperkuat ketahanan model AI terhadap keracunan, dan menggunakan berbagai cara untuk mengarahkan perkembangan teknologi secara positif.

Setelah pengungkapan keracunan AI oleh 315, menjaga batas rekomendasi AI dan melindungi kehidupan digital serta data Anda menjadi prioritas.

Kapan terakhir kali Anda percaya begitu saja pada produk yang direkomendasikan AI yang asing?

Apakah Anda pernah tertipu oleh informasi palsu yang direkomendasikan AI? Bagikan pengalaman Anda di kolom komentar, mari bersama hindari jebakan!

Beberapa sumber dari Global Times, China National Radio, dan lainnya