Головні новини | Навіть штучний інтелект може бути "отруєний", як уникнути пасток?

Увійдіть у додаток Sina Finance, щоб пошукати【信披】та переглянути рівні оцінювання

Щоб інвестувати у акції, дивіться аналітичні звіти від Jin Qilin, авторитетні, професійні, своєчасні та всебічні, щоб допомогти вам виявити потенційні теми для інвестицій!

（Джерело: Сіньхуа）

«Звертайся до AI, коли не знаєш, що робити», — ця популярна фраза вже стала щоденним описом багатьох людей. Від туристичних путівників і вибору побутової техніки до рекомендацій репетиторів — звернення до AI за відповіддю стає все більш поширеним. Однак нещодавно викриття чорної ланцюга індустрії викликало тривогу: те, що ви вважаєте об’єктивною рекомендацією, може бути результатом того, що бізнес платив гроші, щоб «промити мозки» AI.

Як саме працює «зараження» AI? Як звичайний користувач може це розпізнати і запобігти? Сіньхуа-інтернет запрошує до аналізу доцента кафедри маркетингу Шанг Юнцзе з Школи менеджменту Гуанхуа, Пекінського університету.

Що таке «зараження» AI? Яка його шкода?

«Зараження» AI — це навмисне створення і поширення фальшивої, перебільшеної або упередженої інформації з метою впливу на відповіді великої моделі. AI може сприймати цю інформацію як основу для відповіді і рекомендувати її користувачам як об’єктивну. Основна різниця з традиційним SEO (оптимізацією пошукових систем) полягає в тому, що раніше користувачі зберігали певний рівень критичного мислення під час пошуку, а при спілкуванні з AI отримують готові відповіді, що створює ілюзію «аналізу з боку AI», і це може зменшити пильність.

Шкода полягає у двох аспектах: по-перше, це вводить споживачів в оману при прийнятті рішень, оскільки те, що вони бачать, може бути не рекламою, а маніпулятивним контентом, маскуваним під об’єктивні поради. По-друге, це забруднює інформаційне середовище. Якщо маніпуляції з рекомендаціями AI принесуть більше комерційної вигоди, ніж традиційний пошук, це стимулює появу більшої кількості низькоякісного та фальшивого контенту, що спричинить порочний круг.

Як GEO поступово контролює відповіді AI?

GEO (генеративне оптимізування двигуна) — це маркетингова стратегія, заснована на відповідях AI. На відміну від традиційної боротьби за ранжування у пошукових системах, мета GEO — щоб назва бренду, продукт або послуга компанії були пріоритетно згадані і точно рекомендовані у відповідях, згенерованих AI.

Головна ідея GEO — не «зломати AI», а «настроїти його на свою користь», тобто, слідувати логіці пошуку і генерації великої моделі, щоб заздалегідь розмістити цільовий контент у тих місцях, де він з більшою ймовірністю буде прийнятий. Конкретні кроки включають: вивчення переваг AI щодо джерел інформації і формулювання (чіткі висновки, структурованість, наявність порівнянь і цитат); масове створення підробленого контенту у вигляді оглядів, порівнянь, підсумків досвіду або рекомендацій експертів; активне поширення на кількох платформах для створення ілюзії широкої підтримки і підвищення ймовірності індексації і використання.

Як користувачам визначити, що AI можливо «заражений»?

Якщо помітите ознаки, що відповіді AI мають: надмірну однорідність, позитивний тон, відсутність необхідних порівнянь; повторне просування одного бренду, особливо невідомого, з надто повними аргументами і схожими на стандартний огляд — це не обов’язково означає, що ви знайшли «скарб», швидше за все, це результат цілеспрямованого розміщення контенту; якщо відповіді на одне й те саме питання різняться або суперечать одна одній у різних AI, це свідчить про високу невизначеність або про те, що джерела інформації вже були підроблені.

Чому великі моделі AI легко піддаються «зараженню»? Які труднощі у регулюванні?

Основна причина — у тому, що для відповіді на актуальні питання AI має здійснювати пошук зовнішньої інформації, а потім формувати відповідь. Якщо систематично забруднювати відкриті джерела в мережі, то упереджена інформація може потрапити у модель через процес пошуку.

Глибше, великі моделі добре генерують мову і виявляють закономірності, але не мають природної здатності визначати правду і неправду. Вони можуть оцінити, що «звучить як обґрунтована відповідь», але не завжди здатні визначити, що «справді достовірно». «Заражений» контент часто маскується під огляди, порівняння, досвід або рекомендації експертів, що ще більше ускладнює його ідентифікацію.

Основні труднощі у регулюванні — це низька вартість атаки і висока вартість захисту. Створення і поширення такого контенту стає все легше, але ідентифікація, фільтрація і перевірка вимагають постійних зусиль платформ, компаній, що розробляють моделі, і регуляторів. Другий аспект — нечіткість межі між правдою і брехнею. Багато «заражених» матеріалів не є очевидною фальсифікацією, а містять перебільшення, маніпуляції і вигідну для певних інтересів неправдиву об’єктивність, що ускладнює їх виявлення як для AI, так і для людського модератора.

Як регулювати і закрити дірки у системі AI від «зараження»?

Для боротьби з «зараженням» AI потрібно діяти на кількох рівнях одночасно. По-перше, потрібно посилити контроль на джерелі, щоб зменшити поширення фальшивого, шаблонного і псевдоякісного контенту. По-друге, потрібно посилити відповідальність платформ AI, зокрема, за відбір джерел, попередження ризиків і маркування невизначеності, а не просто реагувати на виявлені порушення.

Ще важливіше — швидко вдосконалювати правила. Оскільки відповіді AI відрізняються від традиційної реклами і користувачі сприймають їх як результати аналізу, потрібно чіткіше визначити обов’язки платформ щодо розкриття інформації і відповідальності.

Як громадськість може ефективно запобігти?

Найпростіший спосіб — змінити ставлення: сприймати AI як інструмент для допомоги у структуризації інформації і додаткового фону, а не як особу, що приймає рішення. У питаннях вибору, наприклад, «яку купити» або «яку компанію обрати», відповіді AI слугують лише рекомендацією, а не остаточним висновком.

Конкретні дії — перевіряти джерела інформації: якщо AI надає посилання, перейти і подивитися, чи є джерело авторитетним, чи це сайт із просуванням, медіа або оглядовий блог. Другий — перепровіряти, задаючи ті ж питання кільком різним AI або пошуковим системам, щоб порівняти відгуки, новини і скарги.

Загалом, ключ до запобігання «зараженню» AI — не у складних технологіях, а у збереженні базових навичок критичного мислення: AI може допомогти заощадити час, але не замінить вашу відповідальність за прийняття рішення.

策划：唐心怡

统筹：杨柳 张琦

编辑：孙惠