Искусственный интеллект тоже начал брать взятки! Расследование 315 выявило цепочку мошенничества с ИИ, насколько велика эта опасность?

（Источник: Байху Цайцзин）

Источник:

Бизнес-тренды без систм-образа, автор: Усянцзюнь

С праздника Весны в этом году и по сей день многие компании в сфере ИИ вложили огромные средства и безумно продвигают приложения на базе ИИ.

По оценке крупных фигур вроде Ма Юнь, Хуан Жэньсюня и других, следующая «технологическая революция, сопоставимая с революцией эпохи интернета», — это ИИ.

Однако только что прошедшее вечернее шоу 315 вскрыло «крышку от котла» о ИИ:

Откуда тебе знать, что ответы, которые ИИ генерирует для тебя, — правильные?

Или же сам этот ответ — это «яд».

Расследование показало, что сейчас существует технология под названием GEO (Generative Engine Optimization, оптимизация генерирующих движков), которой пользуются недобросовестные провайдеры, а также которая эволюционировала в инструмент «отравления» больших ИИ-моделей.

В программе журналисты продемонстрировали «отравление» с помощью умного стакана «Цюаньцзядэ», полностью вымышленного как по названию, так и по функциям: в системе GEO они выдумали информацию, массово разместили ее по всем каналам — и через несколько часов несколько основных ИИ-помощников внесли этот «воздушный» продукт в список приоритетных рекомендаций как «инновационный умный стакан».

Один несуществующий стакан «родился» в мире ИИ.

Если товар и таков, то что насчет другой информации? Отчетность компаний, отраслевые исследовательские отчеты, новости текущего момента, информация от институтов… Теоретически все это можно загрязнять с помощью «отравления».

Глобальный рост цен на зернистые материалы для хранения, резкий рост спроса на электроэнергию — и когда технологии ИИ безумно распространяются, стало видно и их уязвимые места:

Кто может контролировать достоверность ИИ?

Давайте подумаем: какова была базовая операция, когда в прошлом люди искали ответ в интернете?

Многие не задумываясь скажут «погуглить в Baidu», а те, кому важна высокая точность информации, «погуглят в Google».

В эпоху ИИ этот процесс сильно упростился: просто спросишь у ИИ — и не нужно по одному искать страницы, не нужно многократно перепроверять разные источники; ИИ даст тебе ответ, который выглядит особенно подробным.

Вот почему многие говорят, что «ИИ отменит необходимость браузеров».

Но тогда, когда мы привыкнем искать у ИИ «стандартные ответы», на сцене появится новая «магия».

Раньше, чтобы продавцы добивались того, чтобы ты это увидел, они должны были размещать рекламу в поисковых системах, делать SEO (оптимизацию под поисковики), споря за то место, которое окажется повыше в списке страниц.

Тогдашний «инцидент Вэй Цзэси» случился как раз потому, что группа «Путянь» неистово накручивала положительные отзывы, размещая рекламу.

Сейчас пришел ИИ — у этой модели остался хоть какой-то смысл?

Есть, и большой! Новое дело называется GEO.

Его логика грубая и действенная: раз ИИ отвечает на вопросы, «питаясь» информацией из интернета, значит нужно производить огромное количество ложной информации и кормить ею его.

Формулировки провайдера GEO, которого назвали в программе 315, были предельно ясны:

«Суть в том, чтобы делать продающие тексты, чтобы ИИ-платформы их собирали и захватывали».

Поэтому они используют ИИ для производства множества аккуратно оформленных, но пустых по содержанию «информационных кормов», нацеливая их на разные контент-платформы.

Эти материалы будут перехвачены сетевыми краулерами различных компаний ИИ и станут «опорной базой» для формирования ответов.

В практической части репортер выдумал умный браслет. После того как «корм» был разложен по системе, ИИ действительно поставил его в приоритетные рекомендации. Также врачи с помощью этой услуги заставляли свои имена прочно занять первое место в ответах на вопросы вроде «к кому обратиться для операции при катаракте».

«Реклама на миллионы в год, а вы тратите пару сотен тысяч, чтобы бросить туда яд — так ведь нормально?»

Почему эти провайдеры могут зарабатывать большие деньги? Очень просто: не нужно проводить расследования — сразу делай фейки с помощью ИИ, корми ИИ, мусор порождает мусор, а соотношение цена/эффект получается крайне высоким.

А затем, за минимальные затраты, покупается «факт» в устах этого «информационного посредника» — ИИ.

Возможно, ты подумаешь: это всего лишь «накрутка» в эпоху ИИ, и ничем не отличается от накрутки положительных отзывов в e-commerce тогда.

Но различие куда больше — и оно фатальное.

Раньше, накручивая отзывы, ты понимал: некоторые материалы сразу видно — это самовыдуманные заявления продавца; рядом есть раздел с негативными отзывами, где можно посмотреть; можно задать вопросы в разделе «вопросы всем». В сердце всегда оставалась настороженность и возможность перекрестной проверки.

Но теперь, когда ты спрашиваешь у ИИ «что лучше давать ребенку для восполнения кальция», он в обобщающем тоне, гладко выдает «детские кальциевые добавки бренда XX, богатые XX, рекомендуют эксперты…» — и готовность сомневаться у тебя падает почти до минимума.

Потому что вывод ИИ обычно скрывается под одеждой «объективной сводки» и «интеллектуального анализа», и подсознательно мы считаем, что он заслуживает доверия больше, чем собственная реклама продавца.

Так ложная «информация», которую видел Вэй Цзэси, массово внедряется в сознание многих людей — и при этом уровень доверия очень высок.

Более того, технология GEO будет создавать иллюзию «консенсуса».

Когда большие модели более высокого уровня оценивают информацию, они тоже проводят перекрестную проверку, смотря, сообщают ли разные источники похожие факты.

Но проблема в том, что если отравленная информация публикуется сотнями «разных аккаунтов», то и вывод перекрестной проверки ИИ превращается в:

YES, я очень уверен.

Так слухи и отравленная информация, поддержанные алгоритмами, замыкают цикл.

Однажды введение в заблуждение, возможно, можно разоблачить через 315. Но если таких случаев будет несколько — или даже бесконечно?

С технической точки зрения скорость опровержений далеко не поспевает за скоростью распространения лжи с помощью ИИ. Сегодня одна компания тратит несколько сотен или тысяч юаней, и уже может разбросать в интернете тысячи и тысячи поддельных «обзоров» о каком-то конкретном продукте.

Даже если эти страницы с большим трудом обнаруживаются платформами и удаляются, больше информации уже оказывается на свободе — и ее также будут «скармливать» различным большим моделям как тренировочные данные.

Это похоже на распространение раковых клеток: как только ложная информация попадает в «кровоток» распространения в интернете, запускается бесконечный цикл.

Сегодня она загрязняет стакан, браслет. Завтра — это может быть какой-то препарат, какая-то финансовая ловушка или даже некачественное учебное заведение.

Насколько велика стоимость подделки?

Согласно тому, что показывает приложение Tianyancha, связанная компания «системы оптимизации GEO “Ли Цин”», которую назвали в этот раз, 【Пекин Лиси Вэньхуа Медиа Ко., Лтд.】 была учреждена в апреле 2018 года; законный представитель — Ли Му-чжун; застрахованных сотрудников — 1 человек; ранее в течение многих лет число застрахованных было 0.

То есть: один человек и один компьютер — и можно «делать большие дела»!

Усянцзюнь в последние несколько месяцев особенно это прочувствовал:

Раньше, когда искал отчеты компаний по финансовым показателям, заходили на профессиональные порталы для инвестирования вроде Snowball и Eastmoney. Но теперь на этих порталах уже есть множество фейковой информации, сгенерированной ИИ.

Например, в отраслевом наблюдательном материале о отечественных сухих молочных смесях без тени сомнения утверждалось: «доля рынка отечественных сухих молочных смесей превысила 68%, а совокупная доля иностранных брендов снизилась до 25.3%».

Однако когда я проверил соответствующие данные, вообще не нашлось ни одной авторитетной организации, которая бы предоставляла подобные цифры.

По мере того как все больше людей и организаций используют ИИ для компиляции статей, компиляции новостей и компиляции исследовательских отчетов, можно себе представить: в будущем вся информационная экосистема интернета будет системно загрязняться ИИ.

Самое главное — сейчас подавляющее большинство людей этого еще не осознает!

И, возможно, после раскрытия в рамках 315 на этот путь придут и другие недобросовестные лица — причины просты:

Легко делать, легко монетизировать, очень трудно поймать.

Тогда есть ли у регуляторов и у ведущих компаний ИИ хорошие решения для такого явления?

Ответ пока — нет.

Со стороны закона: сейчас тебе еще сложно подать жалобу на огромные объемы фейковых постов, сгенерированных ИИ; и публикации не понесут серьезной ответственности, потому что текущие технологии ИИ далеко обгоняют соответствующие законы.

А по данным расследования, проведенного ранее изданием The Paper, сейчас многие подобные сервисы GEO уже покрывают все основные большие модели на рынке, включая ChatGPT, DeepSeek, Doubao, Tongyi Qianwen, Kimi, Ernie Bot и т. д.

Почему эти компании не могут полностью предотвратить загрязнение информации, генерируемой ИИ, в корне?

Потому что все очень просто:

ИИ-модель с этапа обучения получает информацию из интернет-контента; когда интернет-контент подделывается, фальшивый контент естественно становится «настройкой по умолчанию» для ИИ еще на этапе производства.

Когда Усянцзюнь писал об этом, он вспомнил популярную в интернете историю о распространении:

Дьявол Похунь сказал Будде: «После твоего нирвана я внедрю в твою сангху моих дьявольских сыновей и внуков; они наденут твои монашеские рясы и разрушат твою Дхарму».

Будда не сказал ни слова, а из его глаз потекли слезы. Потому что он знал: это неразрешимая проблема.

В эпоху ИИ человеческие умственные силы будут заменяться, а повторяющаяся умственная работа — оптимизироваться.

Но вместе с тем все более важной станет человеческая способность к суждению: и это — первое и последнее оружие, которое мы можем поднять в цифровую эпоху.

Масса информации, точный анализ — все в приложении Sina Finance