Распространяется подделка данных» Отчет по информационной безопасности на странице 44 от Ernst & Young раскрыт: из 27 цитат 16 — сфабрикованы ИИ

AI обнаружила компанию GPTZero, которая разоблачила 44-страничный отчет по информационной безопасности, опубликованный канадским отделением Ernst & Young (EY) Canada, в котором 27 цитат содержат AI-галлюцинации (вымышленные или недействительные), а вся отчетность примерно на 72% сгенерирована ИИ.
(Предыстория: Миссури официально предъявила обвинение CoinFlip: крипто-АТМ как инструмент мошенничества и отмывания денег, максимальный иск — 1,826 миллиона долларов)
(Дополнительный фон: Канаду планируют законодательно запретить крипто-АТМ: 4000 устройств, первый случай в G7, FINTRAC определяет политику на основе данных)

Содержание статьи

Переключить

• Два самоподтверждающих факта о 200 миллиардах
• Когда большие языковые модели заменят Google Scholar
• Токсикация данных: новая системная угроза для инструментов поиска на базе ИИ

Компания GPTZero по мониторингу ИИ в мае раскрыла, что в отчете EY Canada под названием «Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems», посвященном информационной безопасности систем лояльности, есть серьезные недостатки.

GPTZero проверила каждую из 27 цитат и обнаружила, что 16 из них — галлюцинации, более 70%. Сам отчет не содержит академических сносок, а использует внутренние отметки, а на страницах 41–43 приложена «таблица ресурсов» с названиями источников, описаниями, URL, частично с указанием издателя и даты.

Проблема именно в этой таблице: почти все URL либо недействительны, либо вообще не существуют, более половины заголовков источников не соответствуют реальным источникам. Весь отчет примерно на 72% состоит из текста, сгенерированного ИИ.

Два самоподтверждающих факта о 200 миллиардах

Самая очевидная проблема этого отчета — противоречивые цифры, которые почти невозможно объяснить, если их писал один человек.

Исполнительное резюме утверждает, что «глобальный рынок программ лояльности достигает 200 миллиардов долларов», при этом указывается, что 30–50% баллов никогда не использовались. Однако на странице 10 говорится, что «200 миллиардов долларов» — это «общая стоимость неиспользованных баллов». Если 50% баллов не использованы, а их стоимость равна 200 миллиардам, то глобальный рынок должен быть как минимум 400 миллиардам, что противоречит предыдущему числу.

Еще важнее, что обе цифры сопровождаются цитатами: одна — фиктивный Forbes, другая — фиктивный McKinsey.

GPTZero проследила за источником «McKinsey & Company: Loyalty Economics Report (2022)», которого на самом деле не существует. Вспомнив за полгода, они нашли в блоге Financial IT почти идентичные предложения, также ссылаясь на этот фиктивный отчет McKinsey.

То есть кто-то сначала сфальсифицировал академическую цитату на мало посещаемом блоге, а затем EY «очистила» ее, превратив в публикацию одной из четырех крупных консалтинговых фирм. Это так называемое загрязнение цепочки цитирования.

Когда большие языковые модели заменят Google Scholar

Инженеры GPTZero придумали для этого явления термин: vibe citing. Проще говоря, исследователи или консультанты ленятся проверять реальные источники и прямо позволяют ИИ генерировать библиографию, в результате получая список ссылок, которые выглядят как цитаты, но на самом деле — вымышленные записи.

Это — первый выпуск расследования GPTZero. За последние несколько месяцев они создали автоматизированный pipeline, систематически сканирующий публичные отчеты крупных консалтинговых компаний. Первичные результаты показывают, что vibe citing уже стал эпидемией, и даже лидеры отрасли не застрахованы.

Токсикация данных: новая системная угроза для инструментов поиска на базе ИИ

GPTZero называет главной опасностью этого отчета «токсикацию данных».

Проще говоря, загрузка в сеть файлов с ложной информацией — это как введение яда в общий информационный пул, который используют все исследователи и аналитики. EY Canada ежегодно предоставляет канадскому правительству аудит и консультации на сотни миллионов долларов, и если такие организации публикуют свои отчеты на популярных сайтах, распространение токсинов происходит быстрее, а доверие к ним — сложнее восстановить.

Этот отчет вызвал волну в австралийских СМИ: статья, цитирующая его в «Канберра Таймс», была перепечатана более чем в 60 австралийских газетах.

GPTZero продемонстрировала, что Claude, ChatGPT и Perplexity при вопросах о среднем времени обнаружения мошенничества в программах лояльности неоднократно ссылались на этот галлюциногенный отчет EY. Инструменты «глубокого исследования» источников используют сигналы, отличные от человеческих, и более зависят от имиджа бренда, что делает их более уязвимыми к токсикации данных.

Инструменты обнаружения галлюцинаций GPTZero уже используют ведущие конференции, такие как IJCAI, ICLR, ICSE, для проверки статей. Ранее GPTZero проверила правительственные документы, два отчета компании Deloitte и статьи на NeurIPS, ICLR.

После расследования EY Canada сняла этот отчет с сайта и заявила: «EY Canada серьезно относится к точности публикуемой информации и обязуется ответственно использовать ИИ. Мы пересматриваем причины публикации этого отчета».

Крупнейшая в мире фирма, известная своей строгой аудиторской практикой, доверила свой бренд-имидж AI-генерированному отчету, который даже не удосужился проверить цитаты. Когда его разоблачили небольшой командой из трех человек, стало ясно, насколько это серьезная проблема.

Это — не единичный случай, а отражение общего тренда в индустрии: когда «ИИ-генерация» заменяет «профессиональное суждение», доверие к бренду и его цитаты становится самым уязвимым местом.