Video AI wanita kulit hitam yang seksualisasi di TikTok dihapus setelah penyelidikan BBC

45 menit yang lalu

BagikanSimpan

Sharihan Al-AkhrasBBC News Arabic

BagikanSimpan

Riya Ulan (kiri) / Instagram (kanan)

Riya Ulan (kiri) menyadari bahwa videonya telah dimanipulasi untuk menampilkan persona digital yang dihasilkan AI (kanan)

TikTok telah menangguhkan 20 akun setelah BBC menyoroti penggunaan influencer wanita kulit hitam yang dihasilkan AI untuk mengarahkan pengguna ke situs yang mempromosikan konten seksual eksplisit.

Mereka merupakan bagian dari tren yang berkembang dari akun di Instagram dan TikTok yang dikritik sebagai rasis, eksploitatif, dan menyesatkan karena penggunaan stereotip rasial dan bahasa yang digunakan.

BBC dan peneliti dari publikasi AI independen Riddance menemukan puluhan akun di kedua platform yang menampilkan karakter digital wanita kulit hitam yang sangat seksual atau avatar.

Gambar dan video tersebut dihasilkan oleh AI tetapi tidak diberi label sebagai such, yang tampaknya melanggar pedoman platform.

Hampir semua akun tersebut berada di Instagram dan sekitar sepertiga juga memiliki versi di TikTok. Perusahaan induk Instagram, Meta, mengatakan kepada BBC bahwa mereka sedang menyelidiki, tetapi tidak menyatakan telah mengambil tindakan apa pun.

Avatar sering kali ditampilkan mengenakan pakaian renang yang minim atau pakaian lain yang mencolok dan digambarkan dengan bentuk tubuh yang berlebihan.

Beberapa memiliki warna kulit yang sangat gelap yang telah dimanipulasi secara digital, memberinya penampilan buatan.

Nama akun termasuk istilah seperti “black”, “noir”, “dark”, dan “ebony”. Beberapa menyertakan komentar tentang pria kulit putih dalam posting mereka, seperti “suka pria kulit putih” dan “mengapa aku membutuhkan pria kulit putih dalam hidupku”. Banyak dari akun tersebut mengikuti atau menyukai satu sama lain.

BBC, bekerja sama dengan analis Jeremy Carrasco dan Angel Nulani dari Riddance, mengidentifikasi 60 akun seperti itu, terutama di Instagram, yang mengandung tautan, atau rangkaian tautan, ke konten seksual eksplisit berbayar di situs pihak ketiga. Situs-situs tersebut menandai gambar tersebut sebagai dihasilkan AI, tetapi akun Instagram tidak.

Penelitian ini juga mengidentifikasi banyak akun lain di Instagram dan TikTok dengan avatar AI serupa yang tidak mengarah ke konten berbayar.

‘Saya marah’

Salah satu akun yang ditutup oleh TikTok — meskipun masih beroperasi di Instagram saat publikasi — menyebabkan kemarahan lebih lanjut karena mencuri video dari orang nyata.

Akun ini disajikan sebagai karakter AI yang mencolok dan telah mengumpulkan tiga juta pengikut dalam beberapa minggu setelah dibuat pada Desember.

Namun, akun ini memodifikasi dan memposting video dari pembuat konten asli, Riya Ulan, seorang model yang berbasis di Malaysia.

Wajah avatar, yang memiliki warna kulit yang sangat gelap dan dibuat secara artifisial, dipadukan ke tubuh Riya, dan gerakan, pakaian, serta latar belakang Riya direplikasi.

“Saya marah,” kata Riya kepada BBC. “Tentu saja video saya sudah tersebar di mana-mana… Tapi itu tidak berarti kamu bisa mengambil dan mencuri lalu mempostingnya sebagai milikmu sendiri.”

Instagram

Beberapa akun — termasuk yang mencuri konten Riya — menolak saran bahwa mereka dihasilkan AI

Salah satu video yang dimanipulasi mencapai lebih dari 35 juta tayangan di TikTok dan 173 juta di Instagram, sekitar 47 kali lipat dari jumlah tayangan posting asli Riya.

Meskipun tiga video yang secara jelas cocok dengan konten Riya tidak bersifat seksual, video lain di akun AI yang menggunakan karakter digital yang sama menunjukkan dia dalam pakaian yang mencolok atau melakukan tindakan provokatif. Rangkaian tautan dari akun tersebut mengarah ke konten dewasa berbayar.

“Saya tidak yakin apakah saya lebih khawatir mereka mengambil video saya untuk mempromosikan konten eksplisit mereka atau [bahwa] orang benar-benar percaya pada itu,” katanya.

Semakin sulit bagi pengguna untuk membedakan apakah konten tersebut nyata dan “orang terus tertipu oleh model AI ini,” tambahnya.

Banyak penonton tampaknya memperlakukan avatar sebagai nyata, meskipun fitur mereka tidak realistis. Dalam postingan atau cerita Instagram, beberapa akun menyangkal menggunakan AI, termasuk yang mengambil konten Riya.

Riya mengatakan dia melaporkan akun tersebut ke kedua platform berkali-kali, tetapi saat itu konten tersebut belum dihapus. TikTok menangguhkannya setelah BBC menghubungi untuk komentar.

‘Penggambaran yang tidak realistis’

“Saya percaya akun-akun ini rasis karena keberadaannya memperpetuasi sejarah panjang eksploitasi orang kulit hitam,” kata Nulani, salah satu peneliti.

“Penggunaan karikatur, terminologi permainan ras, dan penggambaran tidak realistis tentang wanita kulit hitam membuktikan mereka tidak peduli dengan keselamatan atau kesejahteraan kita, tetapi dengan kemampuan kita untuk dimanfaatkan sebagai bagian dari mesin pornografi online,” tambahnya.

Carrasco, yang mengkritik tren dan teknik AI di media sosialnya, mengatakan “hal baru adalah jumlah gambaran rasis dan tanpa malu-malu tentang orang kulit hitam yang sangat ekstrem.”

Meskipun “fetish” itu mungkin ada di masa lalu, AI “memberikan kekuatan baru,” katanya. Ia menjelaskan bahwa AI memudahkan penghilangan nuansa dalam gambar dan video untuk menciptakan warna kulit gelap yang tidak alami, serta efek yang sebelumnya memerlukan animasi atau pengecatan kulit.

Selain itu, katanya, tidak ada konsekuensi sosial bagi avatar: “Tidak ada rasa malu… itu sesuatu yang secara unik dieksploitasi AI.”

Houda Fonone / BOCHIC

Pembuat konten Houda Fonone mengatakan dia khawatir refleksi pengalaman hidup di dunia maya digantikan oleh gambar buatan

Houda Fonone, seorang model dan pembuat konten dari Maroko yang mendukung representasi wanita kulit hitam yang lebih otentik, mengatakan tren ini tentang “penghapusan”.

“Rambut halus, tubuh yang sangat ramping, dan kulit yang tak tertandingi… seolah-olah kecantikan kulit hitam hanya bisa diterima jika ‘disempurnakan’.”

Dia mengatakan ini berisiko memperkuat stereotip sementara “kisah dan pengalaman nyata kita digantikan oleh gambar buatan.”

BBC mengirimkan contoh akun yang kami identifikasi kepada Meta dan TikTok, dan meminta tanggapan mereka.

Dua hari kemudian, juru bicara TikTok mengatakan kepada BBC bahwa perusahaan telah “menghapus konten dan menangguhkan akun yang melanggar aturan kami.”

Dalam beberapa hari, 20 akun telah diberi label “diblokir” di aplikasi.

“TikTok melarang konten yang dihasilkan AI dari individu yang digunakan tanpa izin mereka, kami memiliki toleransi nol terhadap konten yang mempromosikan layanan seksual di luar platform,” kata juru bicara tersebut.

Perusahaan mengatakan mereka melarang dan menghapus konten yang dihasilkan AI yang berbahaya atau menyesatkan, dan mewajibkan pengguna memberi label pada konten AI yang realistis. Mereka juga mengatakan telah menerapkan pelabelan yang benar pada sejumlah video.

Meta mengatakan sedang menyelidiki konten yang dilaporkan.

Perusahaan menyatakan ingin pengguna tahu saat mereka melihat posting yang dibuat dengan AI, dan bahwa mereka memiliki kebijakan untuk pelabelan konten yang dihasilkan AI. Sembilan akun Instagram yang dilacak BBC tampaknya sudah tidak ada lagi.

Kedua platform tidak memberikan rincian tentang tanggapan mereka terhadap laporan awal Riya.

TikTok

Kecerdasan buatan

Wanita kulit hitam

Instagram

Minat terhadap kulit hitam