Reality Defender, một trong những công ty khởi nghiệp phát triển các công cụ để phát hiện deepfake và các nội dung do AI tạo ra khác, hôm nay thông báo rằng họ đã huy động được 15 triệu đô la trong vòng tài trợ Series A do DCVC dẫn đầu và với sự tham gia của Comcast, Ex / ante, Parameter Ventures và Nat Friedman's AI Grant.
Đồng sáng lập và Giám đốc điều hành Ben Colman cho biết khoản tài trợ sẽ được sử dụng để tăng gấp đôi đội ngũ 23 người của Reality Defender vào năm tới và cải thiện mô hình phát hiện nội dung AI của nó.
Colman cho biết trong một cuộc phỏng vấn: "Các phương pháp deepfake và tạo nội dung mới sẽ tiếp tục xuất hiện, cả về lợi ích và mức độ thiệt hại mà chúng có thể gây ra, điều này sẽ gây ngạc nhiên cho thế giới. "Bằng cách áp dụng cách tiếp cận tư duy tiến bộ, Reality Defender có thể đi trước một vài bước so với các phương pháp và mô hình thế hệ tiếp theo này trước khi chúng được công khai, thay vì phản ứng với những gì vừa xuất hiện ngày hôm nay."
Được biết, Colman, cựu phó chủ tịch tại Goldman Sachs, đồng sáng lập Reality Defender vào năm 2021 với Ali Shahriyari và Gaurav Bharaj. Shahriyari làm việc tại công ty tư vấn công nghệ chuyển đổi kỹ thuật số Originate và AI Foundation, một công ty khởi nghiệp xây dựng các chatbot hoạt hình được hỗ trợ bởi AI. Bharaj là đồng nghiệp của Shahriyari tại Quỹ AI và chịu trách nhiệm nghiên cứu và phát triển.
Reality Defender bắt đầu như một tổ chức phi lợi nhuận. Nhưng theo Colman, khi họ nhận ra mức độ nghiêm trọng của vấn đề deepfake - và nhu cầu thương mại ngày càng tăng đối với công nghệ phát hiện deepfake - nhóm nghiên cứu đã tìm kiếm nguồn tài trợ từ bên ngoài.
Colman không phóng đại tầm quan trọng của vấn đề. Là đối thủ cạnh tranh với Reality Defender, DeepMedia cam kết phát triển các công cụ phát hiện phương tiện tổng hợp. Công ty ước tính rằng số lượng deepfake video được đăng trực tuyến đã tăng gấp ba lần trong năm nay và số lượng deepfake giọng nói đã tăng gấp tám lần so với cùng kỳ năm 2022.
Sự gia tăng số lượng deepfake phần lớn là do hàng hóa hóa các công cụ do AI tạo ra.
Trước đây, việc nhân bản giọng nói hoặc tạo hình ảnh hoặc video deepfake (tức là hình ảnh hoặc video thay thế chân dung của một người một cách thuyết phục thông qua xử lý kỹ thuật số) tốn hàng trăm đến hàng nghìn đô la và đòi hỏi kiến thức về khoa học dữ liệu. Nhưng trong vài năm qua, các nền tảng như nền tảng tổng hợp giọng nói ElevenLabs và mô hình mã nguồn mở Stable Diffusion (tạo ra hình ảnh) đã cho phép các tác nhân độc hại khởi chạy các chiến dịch deepfake với chi phí thấp hoặc miễn phí.
Chỉ trong tháng này, người dùng trên bảng trò chuyện khét tiếng 4 chan đã sử dụng một loạt các công cụ AI tạo ra, bao gồm cả Stable Diffusion, để lan truyền với những hình ảnh phân biệt chủng tộc trực tuyến. Đồng thời, những kẻ xấu sử dụng ElevenLabs để bắt chước giọng nói của người nổi tiếng, tạo ra âm thanh từ bản ghi nhớ và tiểu thuyết khiêu dâm đến ngôn từ kích động thù địch.
Một số nền tảng AI tạo ra đã triển khai các bộ lọc và các hạn chế khác để chống lạm dụng. Nhưng, giống như an ninh mạng, nó cũng là một trò chơi mèo vờn chuột.
"Một số rủi ro lớn nhất đối với phương tiện truyền thông do AI tạo ra đến từ việc sử dụng và lạm dụng tài liệu deepfake trên phương tiện truyền thông xã hội", Colman nói. "Các nền tảng này không có động cơ để quét tài liệu deepfake vì không có luật nào yêu cầu họ làm như vậy, không giống như luật buộc họ phải xóa tài liệu lạm dụng tình dục trẻ em và các tài liệu bất hợp pháp khác."
Tuyên bố phát hiện một loạt các phương tiện deepfake và do AI tạo ra, Reality Defender cung cấp API và ứng dụng web phân tích video, âm thanh, văn bản và hình ảnh để tìm dấu hiệu sửa đổi do AI điều khiển. Theo Colman, Reality Defender sử dụng "các mô hình độc quyền" được đào tạo trên các bộ dữ liệu nội bộ, được "tạo ra trong thế giới thực, không phải trong phòng thí nghiệm" và có thể đạt được độ chính xác deepfake cao hơn so với các đối thủ cạnh tranh.
"Chúng tôi đã đào tạo một tập hợp các mô hình phát hiện deep learning, mỗi mô hình tập trung vào phương pháp riêng của mình", Colman nói. "Chúng tôi đã biết từ lâu rằng không chỉ cách tiếp cận một mô hình, một mô hình sẽ không hiệu quả, mà còn kiểm tra độ chính xác trong phòng thí nghiệm so với thế giới thực sẽ không hiệu quả."
Nhưng bất kỳ công cụ nào có thể phát hiện deepfake một cách đáng tin cậy không? Đây là một câu hỏi mở.
OpenAI, công ty khởi nghiệp đằng sau chatbot AI lan truyền ChatGPT, gần đây đã gỡ bỏ công cụ phát hiện văn bản do AI tạo ra, với lý do "độ chính xác thấp". Ít nhất một nghiên cứu cho thấy rằng nếu một video deepfake được chỉnh sửa ở một mức độ nhất định, một máy dò video deepfake có thể bị lừa.
Ngoài ra, các mô hình phát hiện nội dung deepfake cũng tiềm ẩn nguy cơ sai lệch khuếch đại.
Các nhà nghiên cứu tại Đại học Nam California đã phát hiện ra trong một bài báo xuất bản vào năm 2021 rằng một số bộ dữ liệu được sử dụng để huấn luyện các hệ thống phát hiện deepfake có thể không đại diện cho một giới tính cụ thể hoặc một màu da cụ thể. Các đồng tác giả nghiên cứu cho biết sự thiên vị này được khuếch đại trong các máy dò deepfake, một số trong đó cho thấy sự khác biệt tới 10,7% về tỷ lệ lỗi tùy thuộc vào nhóm dân tộc.
Colman rất tự tin vào độ chính xác của Reality Defender. Ông tuyên bố rằng công ty đang tích cực làm việc để giảm sự thiên vị trong thuật toán, kết hợp "nhiều điểm nhấn, tông màu da và các dữ liệu khác nhau" vào bộ dữ liệu đào tạo máy dò.
"Chúng tôi luôn đào tạo, đào tạo lại và tinh chỉnh các mô hình máy dò của mình để thích ứng với các kịch bản và trường hợp sử dụng mới, đồng thời phản ánh chính xác thế giới thực, không chỉ là một mẩu dữ liệu nhỏ hoặc cá nhân." Colman nói.
Tuy nhiên, trong trường hợp không có sự hỗ trợ kiểm toán của bên thứ ba, không rõ liệu tuyên bố của Colman có đáng tin hay không. Sự hoài nghi đó đã không ảnh hưởng đến hoạt động kinh doanh của Reality Defender, mà Colman nói là khá vững chắc. Cơ sở khách hàng của Reality Defender trải dài trên các chính phủ trên "một số châu lục", cũng như các tổ chức tài chính, công ty truyền thông và tập đoàn đa quốc gia "hàng đầu".
Bất chấp sự cạnh tranh từ các công ty khởi nghiệp như Truepic, Sentinel và Effectiv, cũng như các công cụ phát hiện deepfake từ những công ty đương nhiệm như Microsoft, cơ sở khách hàng của Reality Defender vẫn mạnh mẽ.
Để duy trì vị thế của mình trên thị trường năm 2020 cho phần mềm phát hiện deepfake trị giá 3,86 tỷ USD, theo HSRC, Reality Defender có kế hoạch ra mắt một công cụ "AI có thể giải thích" cho phép khách hàng quét tài liệu để xem văn bản đoạn văn được mã hóa màu do AI tạo ra. Ngoài ra, tính năng phát hiện deepfake giọng nói theo thời gian thực cho các trung tâm cuộc gọi sẽ sớm ra mắt, tiếp theo là các công cụ phát hiện video thời gian thực.
"Nói tóm lại, Reality Defender sẽ bảo vệ lợi nhuận và danh tiếng của công ty." Colman nói. "Reality Defender sử dụng AI để chống lại AI để giúp các thực thể, nền tảng và chính phủ lớn nhất xác định xem các tác phẩm truyền thông là thật hay bị thao túng. Điều này giúp chống gian lận trong lĩnh vực tài chính, ngăn chặn các phương tiện truyền thông lan truyền thông tin sai lệch và ngăn chặn tài liệu phá hoại không thể đảo ngược ở cấp chính phủ, chỉ ba trong số hàng trăm trường hợp sử dụng. "
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Tin tức tài chính Công ty phát hiện nội dung AI Reality Defender đã hoàn thành khoản tài trợ Series A trị giá 15 triệu đô la, do DCVC dẫn đầu
Reality Defender, một trong những công ty khởi nghiệp phát triển các công cụ để phát hiện deepfake và các nội dung do AI tạo ra khác, hôm nay thông báo rằng họ đã huy động được 15 triệu đô la trong vòng tài trợ Series A do DCVC dẫn đầu và với sự tham gia của Comcast, Ex / ante, Parameter Ventures và Nat Friedman's AI Grant.
Đồng sáng lập và Giám đốc điều hành Ben Colman cho biết khoản tài trợ sẽ được sử dụng để tăng gấp đôi đội ngũ 23 người của Reality Defender vào năm tới và cải thiện mô hình phát hiện nội dung AI của nó.
Colman cho biết trong một cuộc phỏng vấn: "Các phương pháp deepfake và tạo nội dung mới sẽ tiếp tục xuất hiện, cả về lợi ích và mức độ thiệt hại mà chúng có thể gây ra, điều này sẽ gây ngạc nhiên cho thế giới. "Bằng cách áp dụng cách tiếp cận tư duy tiến bộ, Reality Defender có thể đi trước một vài bước so với các phương pháp và mô hình thế hệ tiếp theo này trước khi chúng được công khai, thay vì phản ứng với những gì vừa xuất hiện ngày hôm nay."
Được biết, Colman, cựu phó chủ tịch tại Goldman Sachs, đồng sáng lập Reality Defender vào năm 2021 với Ali Shahriyari và Gaurav Bharaj. Shahriyari làm việc tại công ty tư vấn công nghệ chuyển đổi kỹ thuật số Originate và AI Foundation, một công ty khởi nghiệp xây dựng các chatbot hoạt hình được hỗ trợ bởi AI. Bharaj là đồng nghiệp của Shahriyari tại Quỹ AI và chịu trách nhiệm nghiên cứu và phát triển.
Reality Defender bắt đầu như một tổ chức phi lợi nhuận. Nhưng theo Colman, khi họ nhận ra mức độ nghiêm trọng của vấn đề deepfake - và nhu cầu thương mại ngày càng tăng đối với công nghệ phát hiện deepfake - nhóm nghiên cứu đã tìm kiếm nguồn tài trợ từ bên ngoài.
Colman không phóng đại tầm quan trọng của vấn đề. Là đối thủ cạnh tranh với Reality Defender, DeepMedia cam kết phát triển các công cụ phát hiện phương tiện tổng hợp. Công ty ước tính rằng số lượng deepfake video được đăng trực tuyến đã tăng gấp ba lần trong năm nay và số lượng deepfake giọng nói đã tăng gấp tám lần so với cùng kỳ năm 2022.
Sự gia tăng số lượng deepfake phần lớn là do hàng hóa hóa các công cụ do AI tạo ra.
Trước đây, việc nhân bản giọng nói hoặc tạo hình ảnh hoặc video deepfake (tức là hình ảnh hoặc video thay thế chân dung của một người một cách thuyết phục thông qua xử lý kỹ thuật số) tốn hàng trăm đến hàng nghìn đô la và đòi hỏi kiến thức về khoa học dữ liệu. Nhưng trong vài năm qua, các nền tảng như nền tảng tổng hợp giọng nói ElevenLabs và mô hình mã nguồn mở Stable Diffusion (tạo ra hình ảnh) đã cho phép các tác nhân độc hại khởi chạy các chiến dịch deepfake với chi phí thấp hoặc miễn phí.
Chỉ trong tháng này, người dùng trên bảng trò chuyện khét tiếng 4 chan đã sử dụng một loạt các công cụ AI tạo ra, bao gồm cả Stable Diffusion, để lan truyền với những hình ảnh phân biệt chủng tộc trực tuyến. Đồng thời, những kẻ xấu sử dụng ElevenLabs để bắt chước giọng nói của người nổi tiếng, tạo ra âm thanh từ bản ghi nhớ và tiểu thuyết khiêu dâm đến ngôn từ kích động thù địch.
Một số nền tảng AI tạo ra đã triển khai các bộ lọc và các hạn chế khác để chống lạm dụng. Nhưng, giống như an ninh mạng, nó cũng là một trò chơi mèo vờn chuột.
"Một số rủi ro lớn nhất đối với phương tiện truyền thông do AI tạo ra đến từ việc sử dụng và lạm dụng tài liệu deepfake trên phương tiện truyền thông xã hội", Colman nói. "Các nền tảng này không có động cơ để quét tài liệu deepfake vì không có luật nào yêu cầu họ làm như vậy, không giống như luật buộc họ phải xóa tài liệu lạm dụng tình dục trẻ em và các tài liệu bất hợp pháp khác."
Tuyên bố phát hiện một loạt các phương tiện deepfake và do AI tạo ra, Reality Defender cung cấp API và ứng dụng web phân tích video, âm thanh, văn bản và hình ảnh để tìm dấu hiệu sửa đổi do AI điều khiển. Theo Colman, Reality Defender sử dụng "các mô hình độc quyền" được đào tạo trên các bộ dữ liệu nội bộ, được "tạo ra trong thế giới thực, không phải trong phòng thí nghiệm" và có thể đạt được độ chính xác deepfake cao hơn so với các đối thủ cạnh tranh.
"Chúng tôi đã đào tạo một tập hợp các mô hình phát hiện deep learning, mỗi mô hình tập trung vào phương pháp riêng của mình", Colman nói. "Chúng tôi đã biết từ lâu rằng không chỉ cách tiếp cận một mô hình, một mô hình sẽ không hiệu quả, mà còn kiểm tra độ chính xác trong phòng thí nghiệm so với thế giới thực sẽ không hiệu quả."
Nhưng bất kỳ công cụ nào có thể phát hiện deepfake một cách đáng tin cậy không? Đây là một câu hỏi mở.
OpenAI, công ty khởi nghiệp đằng sau chatbot AI lan truyền ChatGPT, gần đây đã gỡ bỏ công cụ phát hiện văn bản do AI tạo ra, với lý do "độ chính xác thấp". Ít nhất một nghiên cứu cho thấy rằng nếu một video deepfake được chỉnh sửa ở một mức độ nhất định, một máy dò video deepfake có thể bị lừa.
Ngoài ra, các mô hình phát hiện nội dung deepfake cũng tiềm ẩn nguy cơ sai lệch khuếch đại.
Các nhà nghiên cứu tại Đại học Nam California đã phát hiện ra trong một bài báo xuất bản vào năm 2021 rằng một số bộ dữ liệu được sử dụng để huấn luyện các hệ thống phát hiện deepfake có thể không đại diện cho một giới tính cụ thể hoặc một màu da cụ thể. Các đồng tác giả nghiên cứu cho biết sự thiên vị này được khuếch đại trong các máy dò deepfake, một số trong đó cho thấy sự khác biệt tới 10,7% về tỷ lệ lỗi tùy thuộc vào nhóm dân tộc.
Colman rất tự tin vào độ chính xác của Reality Defender. Ông tuyên bố rằng công ty đang tích cực làm việc để giảm sự thiên vị trong thuật toán, kết hợp "nhiều điểm nhấn, tông màu da và các dữ liệu khác nhau" vào bộ dữ liệu đào tạo máy dò.
"Chúng tôi luôn đào tạo, đào tạo lại và tinh chỉnh các mô hình máy dò của mình để thích ứng với các kịch bản và trường hợp sử dụng mới, đồng thời phản ánh chính xác thế giới thực, không chỉ là một mẩu dữ liệu nhỏ hoặc cá nhân." Colman nói.
Tuy nhiên, trong trường hợp không có sự hỗ trợ kiểm toán của bên thứ ba, không rõ liệu tuyên bố của Colman có đáng tin hay không. Sự hoài nghi đó đã không ảnh hưởng đến hoạt động kinh doanh của Reality Defender, mà Colman nói là khá vững chắc. Cơ sở khách hàng của Reality Defender trải dài trên các chính phủ trên "một số châu lục", cũng như các tổ chức tài chính, công ty truyền thông và tập đoàn đa quốc gia "hàng đầu".
Bất chấp sự cạnh tranh từ các công ty khởi nghiệp như Truepic, Sentinel và Effectiv, cũng như các công cụ phát hiện deepfake từ những công ty đương nhiệm như Microsoft, cơ sở khách hàng của Reality Defender vẫn mạnh mẽ.
Để duy trì vị thế của mình trên thị trường năm 2020 cho phần mềm phát hiện deepfake trị giá 3,86 tỷ USD, theo HSRC, Reality Defender có kế hoạch ra mắt một công cụ "AI có thể giải thích" cho phép khách hàng quét tài liệu để xem văn bản đoạn văn được mã hóa màu do AI tạo ra. Ngoài ra, tính năng phát hiện deepfake giọng nói theo thời gian thực cho các trung tâm cuộc gọi sẽ sớm ra mắt, tiếp theo là các công cụ phát hiện video thời gian thực.
"Nói tóm lại, Reality Defender sẽ bảo vệ lợi nhuận và danh tiếng của công ty." Colman nói. "Reality Defender sử dụng AI để chống lại AI để giúp các thực thể, nền tảng và chính phủ lớn nhất xác định xem các tác phẩm truyền thông là thật hay bị thao túng. Điều này giúp chống gian lận trong lĩnh vực tài chính, ngăn chặn các phương tiện truyền thông lan truyền thông tin sai lệch và ngăn chặn tài liệu phá hoại không thể đảo ngược ở cấp chính phủ, chỉ ba trong số hàng trăm trường hợp sử dụng. "