Reality Defender, salah satu dari beberapa startup yang mengembangkan alat untuk mendeteksi deepfake dan konten lain yang dihasilkan AI, hari ini mengumumkan bahwa mereka telah mengumpulkan $ 15 juta dalam putaran pendanaan Seri A yang dipimpin oleh DCVC dan dengan partisipasi dari Comcast, Ex/ante, Parameter Ventures dan Nat Friedman's AI Grant.
Co-founder dan CEO Ben Colman mengatakan dana tersebut akan digunakan untuk menggandakan tim Reality Defender yang beranggotakan 23 orang tahun depan dan meningkatkan model deteksi konten AI-nya.
Colman mengatakan dalam sebuah wawancara: "Metode baru deepfake dan pembuatan konten akan terus muncul, baik dari segi manfaatnya dan tingkat kerusakan yang dapat ditimbulkannya, yang akan mengejutkan dunia. "Dengan mengadopsi pendekatan berpikiran maju, Reality Defender dapat beberapa langkah lebih maju dari metode dan model generasi berikutnya sebelum tersedia untuk umum, daripada bereaksi terhadap apa yang baru saja muncul hari ini."
Dilaporkan bahwa Colman, mantan wakil presiden di Goldman Sachs, ikut mendirikan Reality Defender pada tahun 2021 bersama Ali Shahriyari dan Gaurav Bharaj. Shahriyari bekerja di perusahaan konsultan teknologi transformasi digital Originate dan AI Foundation, sebuah startup yang membangun chatbot animasi bertenaga AI. Bharaj adalah rekan Shahriyari di AI Foundation dan bertanggung jawab atas penelitian dan pengembangan.
Reality Defender dimulai sebagai organisasi nirlaba. Namun menurut Colman, ketika mereka menyadari keseriusan masalah deepfaking – dan meningkatnya kebutuhan komersial akan teknologi deteksi deepfake – tim mencari dana dari luar.
Colman tidak melebih-lebihkan besarnya masalah. Sebagai pesaing Reality Defender, DeepMedia berkomitmen untuk mengembangkan alat deteksi media sintetis. Perusahaan memperkirakan bahwa jumlah deepfake video yang diposting online telah meningkat tiga kali lipat tahun ini dan jumlah deepfake suara telah meningkat delapan kali lipat dibandingkan periode yang sama pada tahun 2022.
Peningkatan jumlah deepfake sebagian besar disebabkan oleh komoditisasi alat yang dihasilkan AI.
Di masa lalu, mengkloning suara atau membuat gambar atau video deepfake (yaitu, gambar atau video yang secara meyakinkan menggantikan potret seseorang melalui pemrosesan digital) menghabiskan biaya ratusan hingga ribuan dolar dan membutuhkan pengetahuan tentang ilmu data. Namun selama beberapa tahun terakhir, platform seperti platform sintesis ucapan ElevenLabs dan model sumber terbuka Stable Diffusion (yang menghasilkan gambar) telah memungkinkan aktor jahat untuk meluncurkan kampanye deepfake dengan sedikit atau tanpa biaya.
Baru bulan ini, pengguna di chatboard terkenal 4 chan menggunakan berbagai alat AI generatif, termasuk Difusi Stabil, untuk menjadi viral dengan gambar rasis online. Pada saat yang sama, aktor jahat menggunakan ElevenLabs untuk meniru suara selebriti, menghasilkan audio mulai dari memo dan novel erotis hingga pidato kebencian.
Beberapa platform AI generatif telah menerapkan filter dan batasan lain untuk memerangi penyalahgunaan. Tapi, seperti cybersecurity, ini juga permainan kucing-dan-tikus.
"Beberapa risiko terbesar terhadap media yang dihasilkan AI berasal dari penggunaan dan penyalahgunaan materi deepfake di media sosial," kata Colman. "Platform ini tidak memiliki insentif untuk memindai materi deepfake karena tidak ada undang-undang yang mengharuskan mereka melakukannya, tidak seperti undang-undang yang memaksa mereka untuk menghapus materi pelecehan seksual anak dan materi ilegal lainnya."
Mengklaim untuk mendeteksi berbagai deepfake dan media yang dihasilkan AI, Reality Defender menawarkan API dan aplikasi web yang menganalisis video, audio, teks, dan gambar untuk tanda-tanda modifikasi berbasis AI. Menurut Colman, Reality Defender menggunakan "model eksklusif" yang dilatih pada kumpulan data internal, yang "dibuat di dunia nyata, bukan di lab," dan mampu mencapai akurasi deepfake yang lebih tinggi daripada pesaingnya.
"Kami melatih serangkaian model deteksi pembelajaran mendalam, masing-masing berfokus pada metodologinya sendiri," kata Colman. "Kami tahu untuk waktu yang lama bahwa tidak hanya pendekatan model tunggal, satu model tidak akan berhasil, tetapi juga bahwa menguji akurasi di laboratorium versus dunia nyata tidak akan berhasil."
Tetapi dapatkah alat apa pun mendeteksi deepfake dengan andal? Ini adalah pertanyaan terbuka.
OpenAI, startup di balik chatbot AI viral ChatGPT, baru-baru ini menarik alatnya untuk mendeteksi teks yang dihasilkan AI, dengan alasan "akurasi rendah." Setidaknya satu penelitian menunjukkan bahwa jika video deepfake diedit sampai batas tertentu, detektor video deepfake dapat ditipu.
Selain itu, model deteksi konten deepfake juga membawa risiko bias amplifikasi.
Para peneliti di University of Southern California menemukan dalam sebuah makalah yang diterbitkan pada tahun 2021 bahwa beberapa kumpulan data yang digunakan untuk melatih sistem deteksi deepfake mungkin tidak mewakili jenis kelamin tertentu atau warna kulit tertentu. Rekan penulis studi mengatakan bias ini diperkuat dalam detektor deepfake, beberapa di antaranya menunjukkan perbedaan hingga 10,7 persen dalam tingkat kesalahan tergantung pada kelompok etnis.
Colman sangat percaya pada akurasi Reality Defender. Dia mengklaim bahwa perusahaan secara aktif bekerja untuk mengurangi bias dalam algoritma, menggabungkan "berbagai aksen, warna kulit, dan data berbeda lainnya" ke dalam dataset pelatihan detektor.
"Kami selalu melatih, melatih ulang, dan menyempurnakan model detektor kami untuk menyesuaikannya dengan skenario dan kasus penggunaan baru, sekaligus secara akurat mencerminkan dunia nyata, bukan hanya sepotong kecil data atau individu." Kata Colman.
Namun, dengan tidak adanya dukungan audit pihak ketiga, tidak jelas apakah klaim Colman layak dipercaya. Skeptisisme itu tidak mempengaruhi bisnis Reality Defender, yang menurut Colman cukup solid. Basis klien Reality Defender mencakup pemerintah di "beberapa benua," serta lembaga keuangan "tingkat atas", perusahaan media, dan perusahaan multinasional.
Terlepas dari persaingan dari startup seperti Truepic, Sentinel dan Effectiv, serta alat deteksi deepfake dari pemain lama seperti Microsoft, basis pelanggan Reality Defender tetap kuat.
Untuk mempertahankan posisinya di pasar 2020 untuk perangkat lunak pendeteksi deepfake senilai $ 3,86 miliar, menurut HSRC, Reality Defender berencana untuk meluncurkan alat "AI yang dapat dijelaskan" yang memungkinkan pelanggan memindai dokumen untuk melihat teks paragraf berkode warna yang dihasilkan AI. Selain itu, deteksi pendalaman suara real-time untuk pusat panggilan akan segera hadir, diikuti oleh alat deteksi video real-time.
"Singkatnya, Reality Defender akan melindungi laba dan reputasi perusahaan." Kata Colman. "Reality Defender menggunakan AI untuk melawan AI untuk membantu entitas, platform, dan pemerintah terbesar menentukan apakah karya media itu nyata atau dimanipulasi. Ini membantu memerangi penipuan di sektor keuangan, mencegah outlet media menyebarkan informasi palsu, dan mencegah materi destruktif yang tidak dapat dipulihkan di tingkat pemerintah, hanya tiga dari ratusan kasus penggunaan. "
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Berita Pembiayaan丨Perusahaan pendeteksi konten AI Reality Defender menyelesaikan pembiayaan Seri A senilai $ 15 juta, yang dipimpin oleh DCVC
Reality Defender, salah satu dari beberapa startup yang mengembangkan alat untuk mendeteksi deepfake dan konten lain yang dihasilkan AI, hari ini mengumumkan bahwa mereka telah mengumpulkan $ 15 juta dalam putaran pendanaan Seri A yang dipimpin oleh DCVC dan dengan partisipasi dari Comcast, Ex/ante, Parameter Ventures dan Nat Friedman's AI Grant.
Co-founder dan CEO Ben Colman mengatakan dana tersebut akan digunakan untuk menggandakan tim Reality Defender yang beranggotakan 23 orang tahun depan dan meningkatkan model deteksi konten AI-nya.
Colman mengatakan dalam sebuah wawancara: "Metode baru deepfake dan pembuatan konten akan terus muncul, baik dari segi manfaatnya dan tingkat kerusakan yang dapat ditimbulkannya, yang akan mengejutkan dunia. "Dengan mengadopsi pendekatan berpikiran maju, Reality Defender dapat beberapa langkah lebih maju dari metode dan model generasi berikutnya sebelum tersedia untuk umum, daripada bereaksi terhadap apa yang baru saja muncul hari ini."
Dilaporkan bahwa Colman, mantan wakil presiden di Goldman Sachs, ikut mendirikan Reality Defender pada tahun 2021 bersama Ali Shahriyari dan Gaurav Bharaj. Shahriyari bekerja di perusahaan konsultan teknologi transformasi digital Originate dan AI Foundation, sebuah startup yang membangun chatbot animasi bertenaga AI. Bharaj adalah rekan Shahriyari di AI Foundation dan bertanggung jawab atas penelitian dan pengembangan.
Reality Defender dimulai sebagai organisasi nirlaba. Namun menurut Colman, ketika mereka menyadari keseriusan masalah deepfaking – dan meningkatnya kebutuhan komersial akan teknologi deteksi deepfake – tim mencari dana dari luar.
Colman tidak melebih-lebihkan besarnya masalah. Sebagai pesaing Reality Defender, DeepMedia berkomitmen untuk mengembangkan alat deteksi media sintetis. Perusahaan memperkirakan bahwa jumlah deepfake video yang diposting online telah meningkat tiga kali lipat tahun ini dan jumlah deepfake suara telah meningkat delapan kali lipat dibandingkan periode yang sama pada tahun 2022.
Peningkatan jumlah deepfake sebagian besar disebabkan oleh komoditisasi alat yang dihasilkan AI.
Di masa lalu, mengkloning suara atau membuat gambar atau video deepfake (yaitu, gambar atau video yang secara meyakinkan menggantikan potret seseorang melalui pemrosesan digital) menghabiskan biaya ratusan hingga ribuan dolar dan membutuhkan pengetahuan tentang ilmu data. Namun selama beberapa tahun terakhir, platform seperti platform sintesis ucapan ElevenLabs dan model sumber terbuka Stable Diffusion (yang menghasilkan gambar) telah memungkinkan aktor jahat untuk meluncurkan kampanye deepfake dengan sedikit atau tanpa biaya.
Baru bulan ini, pengguna di chatboard terkenal 4 chan menggunakan berbagai alat AI generatif, termasuk Difusi Stabil, untuk menjadi viral dengan gambar rasis online. Pada saat yang sama, aktor jahat menggunakan ElevenLabs untuk meniru suara selebriti, menghasilkan audio mulai dari memo dan novel erotis hingga pidato kebencian.
Beberapa platform AI generatif telah menerapkan filter dan batasan lain untuk memerangi penyalahgunaan. Tapi, seperti cybersecurity, ini juga permainan kucing-dan-tikus.
"Beberapa risiko terbesar terhadap media yang dihasilkan AI berasal dari penggunaan dan penyalahgunaan materi deepfake di media sosial," kata Colman. "Platform ini tidak memiliki insentif untuk memindai materi deepfake karena tidak ada undang-undang yang mengharuskan mereka melakukannya, tidak seperti undang-undang yang memaksa mereka untuk menghapus materi pelecehan seksual anak dan materi ilegal lainnya."
Mengklaim untuk mendeteksi berbagai deepfake dan media yang dihasilkan AI, Reality Defender menawarkan API dan aplikasi web yang menganalisis video, audio, teks, dan gambar untuk tanda-tanda modifikasi berbasis AI. Menurut Colman, Reality Defender menggunakan "model eksklusif" yang dilatih pada kumpulan data internal, yang "dibuat di dunia nyata, bukan di lab," dan mampu mencapai akurasi deepfake yang lebih tinggi daripada pesaingnya.
"Kami melatih serangkaian model deteksi pembelajaran mendalam, masing-masing berfokus pada metodologinya sendiri," kata Colman. "Kami tahu untuk waktu yang lama bahwa tidak hanya pendekatan model tunggal, satu model tidak akan berhasil, tetapi juga bahwa menguji akurasi di laboratorium versus dunia nyata tidak akan berhasil."
Tetapi dapatkah alat apa pun mendeteksi deepfake dengan andal? Ini adalah pertanyaan terbuka.
OpenAI, startup di balik chatbot AI viral ChatGPT, baru-baru ini menarik alatnya untuk mendeteksi teks yang dihasilkan AI, dengan alasan "akurasi rendah." Setidaknya satu penelitian menunjukkan bahwa jika video deepfake diedit sampai batas tertentu, detektor video deepfake dapat ditipu.
Selain itu, model deteksi konten deepfake juga membawa risiko bias amplifikasi.
Para peneliti di University of Southern California menemukan dalam sebuah makalah yang diterbitkan pada tahun 2021 bahwa beberapa kumpulan data yang digunakan untuk melatih sistem deteksi deepfake mungkin tidak mewakili jenis kelamin tertentu atau warna kulit tertentu. Rekan penulis studi mengatakan bias ini diperkuat dalam detektor deepfake, beberapa di antaranya menunjukkan perbedaan hingga 10,7 persen dalam tingkat kesalahan tergantung pada kelompok etnis.
Colman sangat percaya pada akurasi Reality Defender. Dia mengklaim bahwa perusahaan secara aktif bekerja untuk mengurangi bias dalam algoritma, menggabungkan "berbagai aksen, warna kulit, dan data berbeda lainnya" ke dalam dataset pelatihan detektor.
"Kami selalu melatih, melatih ulang, dan menyempurnakan model detektor kami untuk menyesuaikannya dengan skenario dan kasus penggunaan baru, sekaligus secara akurat mencerminkan dunia nyata, bukan hanya sepotong kecil data atau individu." Kata Colman.
Namun, dengan tidak adanya dukungan audit pihak ketiga, tidak jelas apakah klaim Colman layak dipercaya. Skeptisisme itu tidak mempengaruhi bisnis Reality Defender, yang menurut Colman cukup solid. Basis klien Reality Defender mencakup pemerintah di "beberapa benua," serta lembaga keuangan "tingkat atas", perusahaan media, dan perusahaan multinasional.
Terlepas dari persaingan dari startup seperti Truepic, Sentinel dan Effectiv, serta alat deteksi deepfake dari pemain lama seperti Microsoft, basis pelanggan Reality Defender tetap kuat.
Untuk mempertahankan posisinya di pasar 2020 untuk perangkat lunak pendeteksi deepfake senilai $ 3,86 miliar, menurut HSRC, Reality Defender berencana untuk meluncurkan alat "AI yang dapat dijelaskan" yang memungkinkan pelanggan memindai dokumen untuk melihat teks paragraf berkode warna yang dihasilkan AI. Selain itu, deteksi pendalaman suara real-time untuk pusat panggilan akan segera hadir, diikuti oleh alat deteksi video real-time.
"Singkatnya, Reality Defender akan melindungi laba dan reputasi perusahaan." Kata Colman. "Reality Defender menggunakan AI untuk melawan AI untuk membantu entitas, platform, dan pemerintah terbesar menentukan apakah karya media itu nyata atau dimanipulasi. Ini membantu memerangi penipuan di sektor keuangan, mencegah outlet media menyebarkan informasi palsu, dan mencegah materi destruktif yang tidak dapat dipulihkan di tingkat pemerintah, hanya tiga dari ratusan kasus penggunaan. "