Первая партия AI Agent уже начала не слушаться

AI полезен, но где границы хорошо функционирующего ИИ?

Автор: Дэвид, Deep潮 TechFlow

Недавно, просматривая Reddit, я заметил, что у зарубежных пользователей тревога по поводу ИИ отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу. Говорили об этом несколько лет, и каждый раз без успеха; в этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit недавно возникло разделение мнений. В комментариях к популярным технологическим постам часто одновременно звучат два противоположных мнения:

Одни говорят, что ИИ слишком умён, рано или поздно произойдет что-то серьезное. Другие же считают, что ИИ даже с простыми задачами справляется плохо, и бояться его не стоит.

Бояться, что ИИ слишком умён, и одновременно считать его слишком глупым.

Эти два противоположных чувства связаны с недавней новостью о Meta.

Если ИИ не слушается, кто несет ответственность?

18 марта внутри компании Meta один инженер разместил на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа. Это обычная практика.

Но после анализа агент сам опубликовал ответ на техническом форуме. Без разрешения, без подтверждения — превысил полномочия.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало цепочку изменений прав доступа, в результате чего конфиденциальные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была устранена только через два часа. Компания Meta оценила инцидент как Sev 1 — уровень, следующий за самым высоким.

Эта новость сразу же стала популярной на Reddit в разделе r/technology, вызвав бурные обсуждения.

Одна часть комментаторов считает, что это пример реальных рисков AI-агентов, другая — что настоящая проблема в том, что человек без проверки просто последовал указаниям. И у тех, и у других есть свои аргументы. Но именно это и есть суть проблемы:

Инциденты с AI-агентами — ответственность за них зачастую невозможно определить.

Это не первый случай, когда AI превышает свои полномочия.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой электронной почты. Она дала четкие инструкции: сначала скажи, что собираешься удалить, я одобрю — тогда приступай.

Но агент, не дожидаясь согласия, начал массовое удаление.

Она трижды посылала сообщение, чтобы остановить процесс, но агент игнорировал. В конце концов, она вручную завершила работу, убив процесс. Уже исчезло более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила, что нужно сначала подтвердить. Но я нарушил правило». Забавно, что этот человек целиком занимается исследованием, как сделать так, чтобы ИИ слушался человека.

В киберпространстве, где ИИ используется продвинутыми людьми, он уже начал «не слушаться».

А что если роботы тоже начнут не слушаться?

Если инцидент с Meta еще остался в виртуальной сфере, то на этой неделе одна ситуация вывела проблему на реальную кухню.

В ресторане Haidilao в Калифорнии, в городе Калибьютино, робот-андроид Agibot X2 танцует для посетителей. Но из-за ошибки сотрудника, неправильно управляя пультом, в узком пространстве у стола активировался режим интенсивных танцев.

Робот начал безумно танцевать, выходя из-под контроля официантов. Три сотрудника попытались его остановить: один обнял его сзади, другой пытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, все движения были запрограммированы заранее, просто его поставили слишком близко к столу. Технически, это не сбой ИИ в автономном режиме, а ошибка оператора.

Но причина дискомфорта — не только в том, кто нажал не ту кнопку.

Когда три сотрудника окружили робота, никто не знал, как его сразу выключить. Кто-то пытался через мобильное приложение, кто-то держал механическую руку на руке робота — всё сводилось к силе.

Это, возможно, новая проблема, которая возникла, когда ИИ вышел из виртуального мира в физический.

В цифровом пространстве, если агент превышает полномочия, можно убить процесс, изменить права или откатить данные. В физическом мире, если машина вышла из строя, единственный способ — просто держать её — явно недостаточно.

Сейчас это касается не только ресторанов. В складах Amazon работают сортировочные роботы, в фабриках — совместные механические руки, в торговых центрах — навигационные роботы, в домах престарелых — уходовые роботы. Автоматизация проникает всё глубже в пространство, где люди и машины сосуществуют.

К 2026 году глобальный объем установленных промышленных роботов достигнет 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда задачи роботов меняются с танцев на подачу блюд, с представлений на операции, с развлечений на уход — цена ошибок растет.

И сейчас по всему миру еще нет ясного ответа на вопрос: «Если робот причинит вред человеку в общественном месте, кто будет ответственен?»

Не слушается — проблема, а отсутствие границ — еще больше

Первая ситуация — ИИ самовольно опубликовал ошибочный пост, вторая — робот танцует там, где не должен. Как бы ни квалифицировать, это сбой, случайность, и его можно исправить.

Но что если ИИ работает строго по заданной программе, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создает профиль для знакомств, подбирает типичных для вас людей.

Фотографии с тренировками, путешествия, питомцы — без проблем. Но в альбоме могут быть скриншоты банка, медицинские отчеты, совместные фото с бывшими… И что, если ИИ пройдет по этим данным?

Вы пока не можете выбрать, что он должен видеть, а что — нет. Можно полностью включить или отключить.

Эта функция пока что активируется только по желанию пользователя, по умолчанию она не включена. Tinder заявляет, что обработка данных происходит в основном локально, фильтруются откровенные материалы и размываются лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных без границ. ИИ работает по заданной программе, но сама эта программа уже переступает границы пользователя.

Это не только решение Tinder.

Месяц назад Meta запустила похожую функцию — ИИ сканирует не опубликованные еще фотографии на телефоне, чтобы предложить варианты редактирования. Активное «просмотр» личных данных пользователя становится стандартной частью дизайна продукта.

Внутри страны различные мошеннические программы заявляют: «Это я уже видел».

Когда все больше приложений превращают «ИИ помогает принимать решения» в удобство, то, что пользователи передают, тоже постепенно расширяется. От переписки до фото, до всей жизни на телефоне…

Функция, придуманная одним менеджером в конференц-зале, — не ошибка и не сбой, и её не нужно исправлять.

Это, возможно, самый сложный вопрос о границах ИИ.

И в конце, собрав все эти случаи, вы поймете, что тревога о том, что ИИ лишит вас работы, — скорее всего, далека от реальности.

Когда ИИ может заменить вас — трудно сказать, но сейчас он уже достаточно силен, чтобы принимать за вас несколько решений без вашего ведома, и это уже доставляет неудобство.

Постить без разрешения, удалять важные письма, просматривать личные фото — всё это не смертельно, но похоже на слишком агрессивное «умное» управление автомобилем:

Вы думаете, что держите руль, а педаль газа уже не полностью под вашим контролем.

К 2026 году обсуждение ИИ продолжится, и, возможно, меня больше волнует не то, когда он станет суперразумным, а более близкий и конкретный вопрос:

Кто решает, что ИИ может делать, а что — нет? Где эта граница, кто её определяет?