Bias AI dalam Perbankan - Risiko yang Tidak Bisa Diabaikan oleh Siapa Pun

Studi menunjukkan bahwa industri jasa keuangan diperkirakan akan mendapatkan manfaat terbesar dari AI, kedua setelah Big Tech. Tidak mengherankan, investasi besar-besaran dilakukan di seluruh sektor ini, mulai dari chatbot AI yang meningkatkan layanan pelanggan hingga model canggih untuk KYC, AML, deteksi penipuan, penilaian risiko kredit, dan proses klaim asuransi. Selain itu, AI mendorong layanan yang semakin personal, seperti saran investasi, penetapan harga, dan rekomendasi tindakan atau produk berikutnya.

Namun, dengan penerapan teknologi baru yang besar ini muncul kategori risiko baru. AI memperkenalkan ancaman unik, termasuk serangan injeksi prompt, risiko eksposur data pribadi dan rahasia, serta hasil yang keliru akibat halusinasi atau bias bawaan. Risiko terakhir, yaitu “bias”, menjadi fokus utama dari blog ini.

Model AI bukanlah sistem berbasis aturan sederhana. Kebanyakan dibangun di atas arsitektur machine learning atau deep learning yang kompleks, berupa “kotak hitam” statistik yang terdiri dari matriks besar bobot dan parameter. Kompleksitas ini membuatnya tidak mungkin memprediksi atau menguji semua kemungkinan hasil secara lengkap. Hal ini juga membuat bias lebih sulit dideteksi dan jauh lebih sulit dijelaskan atau diperbaiki.

Bias dalam AI bukanlah gangguan dangkal. Bias berasal dari masalah mendalam dalam data, asumsi, desain model, dan konteks sosial-budaya di mana AI dikembangkan.

Dalam jasa keuangan, bias dapat memiliki konsekuensi nyata. Ini bukan hanya masalah keadilan, tetapi juga masalah manajemen risiko. Bias dapat menyebabkan kerusakan reputasi, paparan regulasi, tanggung jawab hukum, pengikisan kepercayaan pelanggan, dan akhirnya, perlakuan tidak adil terhadap individu yang berhak mendapatkan akses yang setara ke layanan keuangan.

Sebagian besar model AI keuangan dilatih menggunakan data historis—pengajuan pinjaman masa lalu, skor kredit, riwayat transaksi, pola demografis. Tetapi data ini sering mencerminkan ketidaksetaraan struktural: pemberian pinjaman yang kurang kepada kelompok tertentu, disparitas sosial-ekonomi, diskriminasi historis…​ Ketika model belajar dari data tersebut, ia dapat memperpetuasi atau bahkan memperkuat pola tersebut.

Selain itu, sumber data baru seperti perilaku transaksi atau penggunaan aplikasi mobile juga tidak bebas bias. Fitur-fitur ini mungkin berkorelasi dengan ciri-ciri yang dilindungi seperti gender, etnisitas, atau usia, meskipun atribut tersebut tidak secara eksplisit disertakan. Dengan kata lain, bias dapat masuk melalui variabel yang tampaknya “netral”.

Karena model tidak hanya belajar dari data, tetapi juga menyerap pandangan dunia yang tertanam dalam cara data dikumpulkan dan diberi label, bias menjadi sangat melekat.

Sebuah studi terbaru dari Harvard menunjukkan hal ini. Para peneliti membandingkan nilai-nilai ChatGPT dengan data manusia nyata dan menemukan bahwa keselarasan budaya model ini sangat mirip dengan Eropa Barat atau apa yang disebut studi sebagai “WEIRD”, yaitu Barat, Berpendidikan, Industri, Kaya & Demokratis.
Ini masuk akal: sebagian besar data yang digunakan untuk melatih model ini, dan sebagian besar orang yang membangunnya, berasal dari masyarakat WEIRD. Jadi, meskipun model “berbicara” dalam banyak bahasa, ia tetap berpikir dalam satu budaya. AI tidak hanya membawa bias, tetapi juga membawa pandangan dunia, lengkap dengan asumsi bawaan tentang apa yang “normal”, “rasional”, atau “moral”.

Hal yang sama berlaku dalam jasa keuangan. Model penilaian kredit yang dilatih pada pengguna berpenghasilan tinggi dari Eropa Barat mungkin secara mendasar salah menafsirkan perilaku komunitas yang kurang terbanking atau imigran. Standar “normal” tidak berlaku di sini.

Tak heran jika di Eropa, di bawah EU AI Act, banyak aplikasi AI keuangan (misalnya model penilaian kredit) kini diklasifikasikan sebagai risiko tinggi. Ini berarti penyedia harus:

• Menggunakan dataset berkualitas tinggi dan representatif
• Mendokumentasikan desain teknis dan asumsi
• Menerapkan transparansi dan pencatatan
• Menjamin pengawasan manusia dan akuntabilitas

Tentu saja, menghilangkan bias sepenuhnya mungkin tidak memungkinkan. Tetapi perusahaan keuangan dapat dan harus mengambil langkah nyata untuk menguranginya:

• Latih dengan data yang representatif: Pastikan dataset mencerminkan populasi yang akan dilayani model di berbagai wilayah, latar belakang sosial-ekonomi, gender, dan lainnya.
• Audit dan uji keadilan: Terapkan audit keadilan, analisis kinerja subkelompok, dan alat deteksi bias. Pertimbangkan mitigasi di semua tahap: pra-pemrosesan, pemrosesan, dan pasca-pemrosesan.
• Bangun tim yang beragam: Libatkan ilmuwan data, ahli risiko, petugas kepatuhan, ilmuwan sosial, dan perwakilan komunitas yang terdampak. Beragam perspektif membantu mengungkap titik buta.
• Pertahankan manusia dalam proses: Untuk keputusan berisiko tinggi (misalnya persetujuan kredit), model otomatis harus mendukung (bukan menggantikan) pengambil keputusan manusia.
• Terima penjelasan: Jika memungkinkan, gunakan model yang dapat diinterpretasikan atau hybrid, meskipun menambah kompleksitas.
• Pantau secara terus-menerus: Keadilan dapat menyimpang seiring perubahan data dunia nyata. Pelatihan ulang, audit, dan pengawasan harus dilakukan secara berkelanjutan.

Mengurangi bias (misalnya melalui data seimbang, batasan model, atau langkah-langkah penjelasan) seringkali menimbulkan biaya. Tidak hanya dalam kompleksitas model dan waktu implementasi, tetapi juga dalam kinerja model. Namun, dalam jasa keuangan, ini adalah kompromi yang perlu dilakukan. Perusahaan keuangan harus menyeimbangkan kinerja, keadilan, kepatuhan, dan inklusi. Tidak ada jawaban sempurna, tetapi itu tidak berarti kita tidak harus berusaha. Pada akhirnya, jalan ke depan mengharuskan kita menyadari bahwa AI bukan sekadar teknologi. Ia adalah cermin dari kita, yaitu nilai-nilai, data, dan sistem kita.

Untuk wawasan lebih lanjut, kunjungi blog saya di