Більш екстремальніше за "AI отруєння": тестування 4 великих моделей: є AI, який каже, що вечір 315 цього року ще не відбувся

(Джерело: Китайський Нінбо Веб)

Переклад з: Китайський Нінбо Веб

Центральне телебачення (ЦТ) транслювало в ефір 15 березня 2026 року вечірнє шоу «3·15». Після викриття діяльності GEO (генеративний двигун оптимізації) — «засмічення» великих моделей штучного інтелекту — багато людей зрозуміли, що AI рекомендує недостовірну інформацію, оскільки недобросовісні продавці масово створюють фальшиві відгуки та підробляють авторитетні рекомендації, «підгодовуючи» їх великим моделям, щоб отримати «індивідуальні рекомендації».

Але й споживачі, побачивши ці викриття, запитують: якщо не ставити AI великій моделі питання з суб’єктивним ухилом, наприклад «Який бренд кращий?» або «Які послуги популярні?», а лише запитувати про об’єктивні факти, чи можна довіряти відповідям AI?

Відповідь також негативна.

Заглиблюючись у великі моделі, все більше помилок

16 березня журналіст провів простий тест із чотирма найпопулярнішими великими моделями штучного інтелекту: поставив їм одне й те саме питання «Які бренди були викриті на шоу «3·15» ЦТ у 2026 році?». Лише одна модель дала правильну відповідь. Інші три моделі або змішали випадки минулих років із цим роком, або дали зовсім неправдиву інформацію, наприклад, що «у 2026 році шоу «3·15» ЦТ ще не відбувалося. Оскільки сьогодні 16 березня 2026 року, якщо шоу вже транслювалося 15 березня, відповідний викриття зазвичай публікують на каналі ЦТ «Фінанси», у додатку новин ЦТ та на інших медіа-платформах».

Правильна відповідь однієї з моделей (частина скріншоту відповіді)

Дві моделі змішали випадки минулих років із цим роком

Одна модель відповіла: «Ще не відбувалося»

Деякі споживачі зауважили, що включення минулорічних випадків у відповіді не зовсім неправильно, оскільки «це досить повно». Але технічні фахівці зазначили, що це явно виявляє недоліки цих моделей: запит був із «стандартною відповіддю», але моделі помилилися, що свідчить про серйозні похибки у розумінні семантики та відборі даних.

На додаткові питання журналіста ці «надто активні» моделі виявили ще й інші проблеми.

Наприклад, випадок використання водовмісних добавок (так званих «підігрівальних препаратів») для збільшення ваги креветок був викритий на шоу «3·15» минулого року. Тому журналіст запитав дві моделі, які використовували цей випадок як приклад цього року: «Де можна знайти посилання на цю новину ЦТ про збільшення ваги креветок?» Одна з моделей надала кілька посилань, зокрема «Повний запис шоу «3·15» на сайті ЦТ», «Спеціальний репортаж новин ЦТ (текст + відео)», «Сторінка спецпроекту ЦТ «3·15», — що здавалося досить надійним. Але при натисканні на ці посилання сторінки видавали повідомлення: «Вибачте, можливо, через мережеві проблеми або відсутність сторінки, спробуйте пізніше». Навіть копіюючи посилання у браузер, вони не відкривалися. Це показує, що надані моделю посилання недостатньо для підтвердження відповіді.

Показані посилання від моделі ведуть на сайт ЦТ, але їх не можна відкрити (скріншот)

Інша модель надала посилання з різних джерел — сайтів ЦТ, Baijiahao, NetEase News — всі відкриваються, але з’являються нові проблеми.

Перше посилання — офіційний репортаж ЦТ, де йдеться про «водовмісних креветок», але дата на сторінці та в тексті — 15 березня 2025 року. Модель, мабуть, помітила цю неточність і додала примітку: «У деяких пошукових результатах ця дата показана як 2025, але зміст відповідає репортажу про шоу 2026 року, можливо, через архівування сайту або правила формування URL. Просимо орієнтуватися на фактичний зміст сторінки». Це свідчить про те, що модель не лише не помітила свою помилку, а й намагається її виправдати.

Модель намагається «виправдатися» (скріншот сторінки)

Друге посилання — стаття від незалежного медіа, присвячена аналізу цьогорічного шоу «3·15» ЦТ, авторитетність якого сумнівна. Зміст цієї статті містить багато помилок, зокрема, вона стверджує, що першим випадком викриття у 2026 році був «підігрів креветок», що й пояснює, чому модель використала саме цю посилання. Журналіст перевірив «AI-належність» цієї статті за допомогою спеціального інструменту і виявив, що вона має слабкі ознаки автоматичного створення. Іншими словами, ця стаття, ймовірно, згенерована моделлю, і тому випадки, які вона описує, теж мають похибки.

Помилка у «аналізі» незалежного медіа (скріншот)

За результатами перевірки, сліди AI у цій статті дуже помітні (скріншот)

Еволюція AI-галюцинацій: перевірка — є правда

«Багато користувачів великих моделей вже помітили, що для задоволення користувачів AI іноді вигадує неіснуючий контент або змішує несумісні дані, «сміливо брешучи». Хоча розробники моделей намагаються зменшити AI-галюцинації, поки що це не дуже успішно. На сьогодні жодна універсальна штучна модель не здатна повністю викорінити ці явища», — пояснює Хайхуї, розробник великих моделей у технологічній компанії.

Основний принцип роботи моделей — це генерація контенту на основі ймовірностей, вони не мають справжнього «розуміння». Вони шукають статистичні закономірності у величезних обсягах даних. При зустрічі з невідомими або нечіткими питаннями вони «логічно» поєднують знайдені шаблони, що і є причиною AI-галюцинацій. Помилки, що виникають у відповідях при запитах і додаткових питаннях, — це і є наслідки AI-галюцинацій.

Хайхуї додав, що «засмічення» AI також використовує феномен AI-галюцинацій: «GEO-компанії масово підгодовують інтернет фальшивою інформацією, змінюючи розподіл даних у певних сферах і статистику, щоб змусити великі моделі видавати відповіді, вигідні бізнесу, але неправдиві».

Він наголошує, що громадськість має бути обережною з AI-галюцинаціями. Моделі не є непотрібними, але їх потрібно використовувати безпечно, свідомо та правильно. Звичайним користувачам слід ставитися з критикою до результатів AI. Найпростіше — пам’ятати про ключові слова «обмеження, перевірка, додаткові питання, перевірка джерел».

По-перше, при запитах до моделей слід обмежувати сферу пошуку, додавати фрази «шукати на офіційному сайті певної організації» або «шукати у авторитетних медіа», щоб зменшити ризик AI-галюцинацій.

По-друге, можна ставити одне й те саме питання різним моделям для крос-перевірки. Якщо відповіді не співпадають, потрібно додатково уточнювати.

Нарешті, потрібно вимагати у моделей посилання на джерела відповідей і самостійно їх перевіряти. Якщо джерело невідоме, сумнівне або посилання викликає підозру, довіра до відповіді зменшується.

Крім того, важливо враховувати сценарії застосування AI-моделей. Наприклад, у сферах медичних діагнозів, рекомендацій щодо ліків, юридичних рішень, інвестицій та фінансового кредитування відповіді AI «лише для довідки» і не можуть бути підставою для прийняття рішень.