315 підтверджено! Злочинний бізнес із використання штучного інтелекту для поширення шкідливого контенту надто розповсюджений! Той AI, на який ти покладаєшся у рекомендаціях, можливо, підгодовують інші, щоб "отруїти" тебе

Вступ: Ваше цифрове життя тихо контролюється — дивіться, щоб не потрапити в пастку!

Редактор|Цзінчень

Автор|Цзян Цінь

У 2026 році на вечірньому шоу CCTV 315 несподівано продемонстровано один приклад, який змусив багатьох перелякатися до холодних потів.

Програма під назвою “Система оптимізації GEO Power” — це софт, який може виводити контент на AI-платформі, годувати “м’який текст” великим AI-моделям, і дивовижним чином за три дні віртуальний розумний браслет був рекомендований AI як “гарний товар”.

Це виглядає абсурдно, але насправді — це лише один приклад із цілого ланцюга індустрії, що охоплює розробку софту, генерацію контенту, масове публікування та комерційну монетизацію.

Подібна маніпуляція AI може відбуватися і у ваших щоденних консультаціях.

Питання: чим відрізняється така AI-атака від звичайної фальшивої реклами або інтернет-сплетень? Чи може її здійснити звичайна людина? Який вплив вона має на нас і на індустрію AI?

1. Що таке AI-атака?

З поширенням штучного інтелекту у повсякденному житті, концепція “AI-атаки” поступово входить у свідомість мас. Багато плутають її з фальшивою рекламою або інтернет-сплетнями, але між цим є суттєва різниця.

Основна відмінність у тому, що AI-атака не спрямована безпосередньо проти людей, а спрямована на забруднення або спотворення даних для навчання AI — шляхом внесення фальшивої інформації у навчальні дані або введення зловмисних команд під час роботи системи, щоб змусити AI вчитися неправильно. Потім, під виглядом “розумних рекомендацій”, ця помилкова інформація опосередковано потрапляє до користувачів.

Відомий фінансовий письменник і директор Інституту впливу Цяюань Гао Ченюань зазначає, що у бізнесовому контексті, GEO (генеративне оптимізування двигуна) — це цілісна система формування довіри у епоху AI-пошуку, яка за допомогою структурованого, авторитетного контенту створює образ бренду або особистості, що бачить, обирає і довіряє AI, і з часом стає “стандартною відповіддю” у діалогах з AI. Її суть — у законному накопиченні довіри, а не у зловмисному поширенні фальшивої інформації.

Проте, як зазначає Ву Цзевей, дослідник і спеціаліст з банківського сектору, “фальшива реклама” і “інтернет-сплетні” — це безпосередня обманна дія проти людей, і споживачі все ще мають шанс перевірити інформацію через різні джерела. Атака на AI — це опосередкована технічна атака, яка забруднює “джерело” думки і суджень AI.

Він підкреслює, що якщо модель буде успішно “заражена”, вона без відома користувача буде постійно і приховано видавати “стандартні відповіді”, які є маніпулятивними, і ця шкода з часом зростає у геометричній прогресії, ускладнюючи виявлення.

Наприклад, GEO-програма, яка була викрита у 315-му шоу, — це основний інструмент AI-атаки.

За повідомленнями Global Times, деякі фахівці купили цю програму на платформі електронної комерції і створили вигаданий розумний браслет Apollo9, придумавши неймовірні характеристики — “квантове заплутане сенсори” і “чорна діра рівня автономності”. Вводячи цей софт, за кілька хвилин генерувалися десятки рекламних статей, і програма автоматично їх публікувала без участі людини.

2. Чи можливо здійснити AI-атаку без технічних знань?

Зараз у мережі поширена ідея, що “можна зробити за сотню юанів і без будь-яких навичок”. Насправді — яка ситуація? Як поширені GEO-оптимізатори у мережі? Чому їх так легко купити?

Заступник директора Бейцзинського інституту соціальних наук Ван Пень зазначає, що “злочинна” або “незаконна” атака за допомогою автоматизованих інструментів у соцмережах і платформах запитань і відповідей — це масове поширення AI-генерованого контенту з певною спрямованістю. Це дуже дешевий спосіб, фактично — “AI-версія SEO”.

Він додає, що GEO-програми поширюються у чорних і сірих колах, а також на деяких платформах електронної комерції під виглядом “інструментів для залучення трафіку”. Вони перебувають у “сірій зоні” законодавства і технологічного контролю, і спочатку важко відрізнити від легального контенту, тому ціна за їх купівлю дуже низька.

Головна причина — високий попит і відсутність контролю. Компанії прагнуть зайняти місце у рекомендаціях AI, навіть витративши сотні мільйонів на рекламу, і готові вкладати мільйони у “зараження” системи, щоб отримати більше рекомендацій.

За повідомленнями, деякі GEO-провайдери прямо кажуть, що “займаються зломом GEO”, і обслуговують понад 200 клієнтів на рік. Вони заробляють на перепродажі послуг, публікуючи фальшиві статті по кілька десятків юанів, і формують цілі чорні схеми.

Чи високий технічний бар’єр у таких методів — наприклад, “зміна тегів”, “злом задніх дверей” або “ін’єкція підказок”? Чи може звичайна людина легко цим займатися? Чи існують швидкі методи виявлення таких атак?

Експерт із китайського товариства наукових журналістів і майбутніх індустрій Гао Хенг вважає, що атаки на етапі ін’єкції підказок — більш ймовірні, оскільки вони відбуваються під час роботи моделі і полягають у введенні спеціальних даних для викривлення відповіді.

Він зазначає, що такі атаки зазвичай впливають лише на один сеанс взаємодії, а не змінюють здатність моделі. Тому, з технічної точки зору, “зараження” моделі — це складна справа і не може бути зроблена масово за допомогою простих інструментів.

3. AI-атака може зруйнувати індустрію AI

Коли великі моделі AI все глибше проникають у наше життя, виробництво і творчість, з’являється більш прихована і смертельна загроза — AI-атака.

Вона не схожа на апаратні несправності або вразливості алгоритмів, і не так легко її виправити. Це — використання фальшивих даних, зловмисних зразків і помилкової інформації для поступового забруднення основного “живильного джерела” AI.

Багато людей вважають її дрібною проблемою, але ігнорують, що основа AI — у даних. Якщо дані будуть заражені, майбутнє AI буде під загрозою.

Після розкриття суті AI-атаки, найважливіше питання — який масштаб шкоди вона може спричинити для всієї галузі? Чи справді фальшиві дані зможуть звести нанівець роки накопичених технологій і спричинити “витіснення добрих” зловмисними?

Відповідь набагато серйозніша, ніж здається.

Для звичайних користувачів найбільша небезпека — це бути введеними в оману: AI може рекомендувати фіктивні товари, або підказати підписати недійсний контракт. Лікування або діагностика з допомогою AI — може дати неправильні рекомендації щодо ліків, і це безпосередньо впливає на наше життя і здоров’я, але важко помітити — адже багато вважають, що “AI не помиляється”.

Після ознайомлення з цими ризиками, чи все ще довіряєте беззастережно AI-рекомендаціям?

Досвідчений керівник і високий консультант Дон Пень вважає, що у короткостроковій перспективі це спричинить “витіснення поганих” і знизить якість моделей через заражені дані, що ускладнить ринок і підвищить витрати на очищення даних для легальних компаній.

Засновниця компанії Wanshi Technology Мао Хуейна вважає, що AI-атака не триватиме довго і не спричинить “витіснення добрих”. В кінцевому підсумку, AI служить користувачам, і короткострокові фальшиві дані легко розпізнати, а зворотній зв’язок користувачів допомагає моделям навчатися і покращуватися. Технології розвитку AI сприятимуть поділу ринку і різноманітності, і “погані” з часом зникнуть.

З погляду Дон Пена, у довгостроковій перспективі ця боротьба стимулює еволюцію — поширення атак змусить індустрію перейти від розширення масштабів до підвищення якості даних і стійкості моделей.

Він порівнює це з потужною вакциною, яка, хоча і болюча, пробуджує галузь до важливості безпеки даних і довіри до моделей, і в кінцевому підсумку сприяє стрімкому розвитку AI, переходу від кількості до якості.

4. Як повернути GEO у правильне русло

Коли AI-атака стала відкритим ризиком для галузі, люди починають задаватися питанням: чи не має ця технологія “першопричинного гріха”, і чи можна її повернути до позитивного застосування?

Багато інструментів, що зловживаються чорним ринком, не були створені для руйнування, і GEO — класичний приклад. Спочатку ця технологія допомагала оптимізувати AI, покращувати якість і надійність даних, але під впливом корупційних інтересів її перетворили на зброю для поширення фальшивих даних. Техніка сама по собі безгрішна — проблема у зловживанні.

Щоб подолати цю ситуацію, галузь має не лише реагувати пасивно, а й активно коригувати курс. Як зсередини спрямувати цю технологію у позитивне русло? Чи можлива саморегуляція індустрії, і які нормативи, технології та екосистеми потрібні для цього?

Відповідь — у спільних зусиллях усіх учасників галузі.

Після розкриття 315-го шоу багато GEO-компаній заявили про свою тверду позицію — відмову від участі у AI-атаках, наприклад, партнерство з Хенань Хунхуй Гехуань Нетворк Текнолоджі і ABk, які чітко заявили, що не займаються “маніпуляціями рекомендацій AI” і “фальшування рейтингів”.

Це — початок внутрішньої саморегуляції, але одного цього недостатньо.

Заступник секретаря Куньцзянського союзу індустрії Інтернету Юань Шуай наголошує, що для повернення GEO у позитивне русло потрібно створити чіткі норми використання технологій, визначити легальні сфери застосування, наприклад, обмежити GEO лише на оптимізацію моделей і калібрування даних, а також запровадити реєстрацію сервісних компаній і контроль за їхньою діяльністю.

Ангельський інвестор і експерт з AI Гуо Тао додає, що потрібно посилити державне регулювання, ухвалити закони і штрафи за зловмисні дії, створити авторитетні органи для перевірки даних і моделей, а також розвивати технології для підвищення стійкості AI до атак і запобігання їх.

Після розкриття чорного ринку AI-атаки 315-го шоу — важливо зберегти межі рекомендацій AI і захистити ваше цифрове життя і дані.

Наступного разу, коли ви побачите незнайомий продукт у рекомендаціях AI, чи довірите йому беззастережно?

Чи траплялося вам потрапляти у пастку фальшивих рекомендацій AI? Поділіться своїм досвідом у коментарях — разом обережно йдемо далі!

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити