Я только что узнал о чем-то, что звучит как из 1984, но произошло недавно в школе Великобритании. Буквально, ИИ цензурировал Орвелла.

В Манчестере одна средняя школа решила использовать искусственный интеллект для проверки своей библиотеки. ИИ предоставил список из 193 книг для удаления, с причинами для каждой. И угадайте, какая оказалась в списке: 1984 Джорджа Оруэлла, потому что она содержала «темы пыток, насилия и сексуального принуждения». Ирония в том, что 1984 говорит именно о правительстве, которое контролирует всё, переписывает историю и решает, что могут читать граждане. А тут ИИ делал то же самое.

Библиотекарь школы посчитал это абсурдным и отказался внедрять рекомендации. Но администрация не согласилась. Его обвинили в внесении неподходящих книг и подали жалобу в местные власти. Стресс был настолько сильным, что он взял больничный и в итоге ушел в отставку. И самое худшее: власти пришли к выводу, что он действительно нарушил процедуры безопасности детей. Тот, кто сопротивлялся ИИ, потерял работу. Тот, кто принял его без вопросов, — никаких последствий.

Позже выяснилось, что школа прекрасно знала, что всё исходило от ИИ. В внутренних документах было написано, что хотя категории были сгенерированы ИИ, «мы считаем, что эта классификация примерно точна». Примерно. Учреждение делегировало важное решение алгоритму, который даже само оно не понимало, и администратор утвердил его, не проверяя ничего.

На той же неделе произошло нечто совершенно иное в Википедии. Пока школа позволяла ИИ решать, что читать её студентам, крупнейшая онлайн-энциклопедия мира приняла противоположное решение: запретить ИИ писать или переписывать контент. Голосование прошло с результатом 44 за, 2 против. Причина — аккаунт ИИ под названием TomWikiAssist, который автоматически создавал статьи.

Проблема в математике: ИИ может написать статью за секунды, а волонтер-человек — часы проверяя факты, источники и стиль. В Википедии не хватает редакторов, чтобы проверять всё, что может произвести ИИ. Но есть и более глубокая причина: Википедия — один из главных источников данных для обучения моделей ИИ. ИИ учится на Википедии, потом пишет новые статьи для Википедии, которые снова обучают следующую генерацию ИИ. Если ИИ загрязняет эти данные, возникает цикл, где загрязнение усиливается. Данные отравляют ИИ, а ИИ — данные.

На той же неделе OpenAI тоже отступила. Временно отменили «режим для взрослых» ChatGPT, функцию, которую Сам Альтман анонсировал несколько месяцев назад. Внутренний комитет по здоровью единогласно проголосовал против. Их опасения были ясны: пользователи могут развить нездоровую эмоциональную привязанность к ИИ, а несовершеннолетние найдут способы обойти проверку возраста. Кто-то был более прямым: без улучшений это может превратиться в «сексуального тренера по суициду». Система проверки возраста имеет более 10% ошибок. При 800 миллионах активных пользователей в неделю это десятки миллионов неправильно классифицированных.

Это было не всё. Также убрали Sora — инструмент для видео с ИИ, и функцию мгновенных платежей ChatGPT. Альтман заявил, что сосредотачиваются на основном бизнесе и убирают «второстепенные задачи». Но OpenAI готовится к выходу на биржу. Компания, которая стремится к публичной котировке и интенсивно убирает спорные функции, вероятно, не совсем честна сама с собой.

Смотрите, за пять месяцев до этого Альтман говорил, что нужно относиться к пользователям как к взрослым. Спустя пять месяцев он понял, что даже его собственная компания не знает, что ИИ может и не может делать. Даже создатели ИИ не имеют этого ответа.

Видя эти три события вместе, становится очевидной проблема: скорость, с которой ИИ производит контент, уже не совпадает со скоростью его проверки людьми. Этот директор из Манчестера не доверял ИИ; он просто не хотел тратить время, которое потребовал бы библиотекарь, чтобы прочитать 193 книги. Это экономическая проблема. Стоимость генерации почти нулевая. Все расходы на проверку ложатся на людей.

Поэтому каждое учреждение реагировало максимально резко: Википедия прямо запретила, OpenAI убрала целые линии продуктов. Ни одно из решений не было продуманным; это были меры экстренного характера, чтобы закрыть дыры. И это становится нормой.

ИИ обновляется каждые несколько месяцев. Нет единой международной рамки, что можно и что нельзя трогать. Каждое учреждение устанавливает свои внутренние границы, и они противоречивы, без координации. Тем временем разрыв только растет. ИИ продолжает ускоряться. Персонал для проверки не увеличивается. В какой-то момент это может взорваться в нечто гораздо более серьезное, чем цензура Орвелла. И когда это случится, скорее всего, будет уже слишком поздно провести границу.