Использование вашего чат-бота с искусственным интеллектом в качестве поисковой системы? Будьте осторожны в том, что вы верите

(MENAFN — The Conversation) Во время Первой мировой войны британское правительство искало способы помочь людям растянуть ограниченные запасы продуктов питания. Оно нашло брошюры известного травника XIX века, который утверждал, что листья ревеня можно использовать как овощ вместе с стеблями.

Правительство соответствующим образом напечатало свои собственные брошюры, советуя людям есть листья ревеня в салате, а не выбрасывать их. Возникла одна проблема: листья ревеня могут быть ядовитыми. Сообщалось о случаях смертей и заболеваний.

Советы были исправлены, а брошюры изъяты из обращения. Но во время Второй мировой войны правительство снова искало способы растянуть запасы продуктов.

Они нашли запас старых ресурсов прошлой войны, в которых объяснялись нетрадиционные источники пищи, включая листья ревеня. Повторное использование брошюр казалось эффективным решением, и их разослали населению. И снова сообщалось о случаях смертей и заболеваний.

Эти брошюры содержали дезинформацию, но общество ни в один из двух случаев не имело причин их сомневаться. Это были официальные материалы, разработанные правительством — почему бы им было быть небезопасными?

Так возникает проблема, когда дезинформация может причинять вред даже после исправления первоначальной ошибки. И мораль этой истории всё ещё актуальна в эпоху генеративного искусственного интеллекта (ИИ).

Чатботы — не поисковые системы

Генеративный ИИ используется для создания текста и изображений (а также других данных) на основе исходной информации, которую он усвоил. Но он также может быть движущей силой для быстрого распространения дезинформации, которая может появляться быстрее, чем люди успевают создавать безопасную информацию, не говоря уже о проверке фактов и исправлении ошибок.

Как показывает история с ревенем, исправления не всегда могут полностью устранить исходное загрязнение.

Платформы ИИ, такие как ChatGPT и Claude, работают не как обычные поисковые системы. Но люди используют их как таковые, потому что они быстро подытоживают сложные темы и требуют меньше кликов, чем традиционные интернет-поиски.

Поисковые системы основываются на статьях и текстах по определённой теме и оценивают их надежность. Генеративный ИИ же опирается на огромные массивы текстов, из которых он измеряет вероятность появления слов рядом друг с другом.

Эти «большие языковые модели» созданы исключительно для генерации разумных предложений, а не для точных.

Например, если «зеленые яйца и ветчина» часто встречаются в его массиве слов, он с большей вероятностью опишет «яйца и ветчину» как зеленые, если кто-то спросит.

‘Правдоподобно, но неправильно’

OpenAI, создавшая ChatGPT, признала (на основе собственного исследования), что невозможно полностью остановить представление ложной информации как правды из-за особенностей работы генеративного ИИ. Объясняя, почему большие языковые модели «галлюцинируют», исследователи написали:

Это может иметь реальные последствия. Недавнее исследование показало, что ChatGPT не распознал медицинскую чрезвычайную ситуацию в более чем половине случаев. Это усугубляется уже существующими ошибками в медицинских записях, что, по данным британского расследования 2025 года, затронуло до одного из четырёх пациентов.

Врач может назначить дополнительные тесты для подтверждения диагноза, но один из исследователей объяснил, что генеративный ИИ «выдает неправильный ответ с той же уверенностью, что и правильный».

Проблема, как отметил другой учёный, в том, что генеративный ИИ «находит и имитирует паттерны слов». Быть правым или неправым — не так важно: «Он должен был составить предложение — и он это сделал».

Исследования показывают, что инструменты генеративного ИИ искажает новости в 45% случаев, независимо от языка или региона. И сейчас существует реальная опасность, что ИИ может ставить под угрозу жизни, генерируя несуществующие маршруты для походов.

Легко посмеяться над генеративным ИИ, когда он советует есть камни или приклеивать топпинги на пиццу.

Но есть и менее забавные примеры — например, планировщик питания в супермаркете, предложивший рецепт, который мог бы выделить хлорный газ, или диетические советы, оставившие человека с хроническим токсическим воздействием бромида.

Ищите старую информацию

Образование и установление правил безопасного и осторожного использования генеративного ИИ будут важны, особенно по мере его проникновения в правительства, бюрократию и сложные организации.

Политики уже используют генеративный ИИ в своей повседневной работе, в том числе для исследования политики. А отделения неотложной помощи в больницах используют ИИ-инструменты для записи заметок пациентов, чтобы сэкономить время.

Одной из мер предосторожности является поиск более надежных источников информации, созданных до того, как ИИ-загрязнённый текст и изображения проникли в интернет.

Существуют даже инструменты, помогающие упростить этот процесс, например, созданный австралийским художником Тегой Брейн «инструмент, который будет возвращать только контент, созданный до первого публичного релиза ChatGPT 30 ноября 2022 года».

И наконец, если ваше интуитивное желание — проверить факты в начале этой статьи, то лучше всего обратиться к старым добрым книгам: например, к «A-Z яда» из «Ядовитого сада» или «Ботаническим проклятиям и ядам: Теневым жизням растений».