Saya baru saja mendengar sesuatu yang terdengar seperti di tahun 1984 tetapi sebenarnya baru saja terjadi di sebuah sekolah di Inggris. Secara harfiah, sebuah AI mengkudeta Orwell.

Di Manchester, sebuah sekolah menengah memutuskan menggunakan kecerdasan buatan untuk meninjau perpustakaannya. AI memberikan daftar 193 buku untuk dihapus, lengkap dengan alasan untuk masing-masing. Dan tebak buku apa yang ada di daftar itu: 1984 karya George Orwell, karena mengandung "tema penyiksaan, kekerasan, dan paksaan seksual". Ironisnya, 1984 memang berbicara tentang pemerintahan yang mengendalikan segalanya, menulis ulang sejarah, dan memutuskan apa yang boleh dibaca warga. Dan di sini, sebuah AI melakukan hal yang sama.

Pustakawan sekolah merasa itu tidak masuk akal dan menolak menerapkan saran tersebut. Tapi manajemen tidak setuju. Mereka menuduhnya memasukkan buku yang tidak pantas dan melaporkannya ke otoritas setempat. Stresnya begitu besar sehingga dia mengajukan cuti sakit dan akhirnya mengundurkan diri. Dan yang terburuk: pihak berwenang menyimpulkan bahwa dia memang melanggar prosedur keamanan anak-anak. Siapa yang menentang AI kehilangan pekerjaannya. Siapa yang menerimanya tanpa pertanyaan, tanpa konsekuensi.

Kemudian terungkap bahwa sekolah tahu persis bahwa semuanya berasal dari AI. Dalam dokumen internal mereka menulis bahwa meskipun kategori dibuat oleh AI, "kami percaya klasifikasi ini cukup akurat". Cukup. Sebuah institusi menyerahkan keputusan penting kepada algoritma yang bahkan tidak mereka pahami, dan seorang administrator menyetujuinya tanpa meninjau apa pun.

Minggu yang sama, terjadi sesuatu yang sama sekali berbeda di Wikipedia. Sementara sebuah sekolah membiarkan AI memutuskan apa yang boleh dibaca siswa mereka, ensiklopedia daring terbesar di dunia mengambil keputusan sebaliknya: melarang AI menulis atau menulis ulang konten. Pemungutan suara berjumlah 44 mendukung, 2 menentang. Alasannya adalah sebuah akun AI bernama TomWikiAssist yang telah secara otomatis membuat artikel.

Masalahnya matematis: sebuah AI bisa menulis artikel dalam hitungan detik, tetapi sukarelawan manusia membutuhkan berjam-jam untuk memverifikasi fakta, sumber, dan penulisan. Wikipedia tidak memiliki cukup editor untuk meninjau semua yang bisa diproduksi AI. Tapi ada sesuatu yang lebih mendalam: Wikipedia adalah salah satu sumber data utama untuk melatih model AI. AI belajar dari Wikipedia, lalu menulis artikel baru untuk Wikipedia, yang kemudian melatih generasi AI berikutnya. Jika AI mencemari data tersebut, terciptalah siklus di mana pencemaran itu diperkuat. Data mencemari AI, dan AI mencemari data.

Minggu yang sama, OpenAI juga mundur. Membatalkan secara tidak terbatas "mode dewasa" ChatGPT, sebuah fitur yang diumumkan langsung oleh Sam Altman beberapa bulan lalu. Komite kesehatan internal memutuskan secara bulat menentang. Kekhawatiran mereka jelas: pengguna akan mengembangkan keterikatan emosional yang tidak sehat dengan AI, dan anak-anak akan mencari cara mengelak dari verifikasi usia. Ada yang lebih langsung: tanpa perbaikan, ini bisa menjadi "pelatih bunuh diri seksi". Sistem verifikasi usia memiliki lebih dari 10% tingkat kesalahan. Dengan 800 juta pengguna aktif mingguan, itu berarti puluhan juta yang salah klasifikasi.

Itu belum semuanya. Mereka juga menarik Sora, alat video berbasis AI, dan fitur pembayaran instan ChatGPT. Altman mengatakan mereka fokus pada bisnis utama dan menghapus "tugas sekunder". Tapi OpenAI bersiap untuk go public. Sebuah perusahaan yang berusaha listing di bursa dan secara intensif menghapus fitur kontroversial kemungkinan besar tidak sepenuhnya jujur pada dirinya sendiri.

Lihat, lima bulan lalu Altman mengatakan bahwa pengguna harus diperlakukan seperti orang dewasa. Lima bulan kemudian dia menyadari bahwa bahkan perusahaan sendiri tidak tahu apa yang bisa dan tidak bisa dilakukan AI. Bahkan pencipta AI pun tidak punya jawaban itu.

Melihat ketiga peristiwa ini bersama-sama, masalahnya menjadi jelas: kecepatan AI menghasilkan konten tidak lagi sebanding dengan kecepatan manusia untuk meninjau. Direktur Manchester itu tidak percaya pada AI; dia hanya tidak ingin menghabiskan waktu yang akan dibutuhkan seorang pustakawan untuk membaca 193 buku. Ini adalah masalah ekonomi. Biaya pembuatan hampir nol. Semua biaya peninjauan ditanggung manusia.

Jadi setiap institusi bereaksi paling ekstrem: Wikipedia melarang langsung, OpenAI menghapus lini produk. Tidak ada yang merupakan solusi yang dipikirkan matang; mereka adalah langkah darurat untuk menutup lubang. Dan itu menjadi hal yang normal.

AI diperbarui setiap beberapa bulan. Tidak ada kerangka internasional yang konsisten tentang apa yang boleh disentuh. Setiap institusi menetapkan garis internalnya sendiri, dan semuanya kontradiktif, tanpa koordinasi. Sementara itu, kesenjangan hanya semakin besar. AI terus mempercepat. Personel peninjau tidak bertambah. Suatu saat ini akan meledak menjadi sesuatu yang jauh lebih serius daripada mengkudeta Orwell. Dan saat itu terjadi, kemungkinan besar sudah terlambat untuk menarik garis batas.