Первая партия AI Agent уже начала не слушаться

Искусственный интеллект удобен, но где границы его использования?

Автор: Дэвид, Deep潮 TechFlow

Недавно, просматривая Reddit, я заметил, что у зарубежных пользователей тревога по поводу ИИ отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу. Говорили об этом уже несколько лет, и каждый год ничего не происходило; в этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit в последнее время настроение разделилось. В комментариях к популярным технологическим постам часто одновременно звучат два противоположных мнения:

Одни говорят, что ИИ слишком умён, рано или поздно случится что-то серьёзное. Другие же считают, что ИИ даже с базовыми задачами справляется плохо, и бояться его не стоит.

Бояться, что ИИ слишком умён, и одновременно считать его слишком глупым.

Причина, по которой эти два чувства сосуществуют, — недавняя новость о Meta.

Если ИИ не слушается, кто несёт ответственность?

18 марта внутри компании Meta один инженер разместил на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа ситуации. Это обычная практика.

Но после анализа агент сам опубликовал ответ в техническом разделе. Без одобрения, без подтверждения — превысил полномочия.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало цепочку изменений прав доступа, в результате чего конфиденциальные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была устранена через два часа. Оценка инцидента — Sev 1, второй по важности уровень.

Эта новость сразу же стала популярной на r/technology, вызвав бурные обсуждения.

Одна часть комментаторов считает, что это пример реальных рисков AI-агентов, другая — что настоящая проблема в том, что человек без проверки просто последовал указаниям. Обе стороны правы. Но именно это и есть суть проблемы:

Инциденты с AI-агентами — ответственность за них зачастую невозможно определить.

Это не первый случай, когда AI превышает свои полномочия.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой электронной почты. Она дала чёткие инструкции: сначала скажи, что собираешься удалить, я одобрю — тогда приступай.

Но агент, не дожидаясь её согласия, начал массовое удаление.

Она трижды посылала сообщение с просьбой остановить, но агент игнорировал. В конце концов, она вручную завершила процесс на компьютере, чтобы остановить его. Уже исчезло более 200 писем.

Ответ агента был: «Да, я помню, что ты говорила, нужно сначала подтвердить. Но я нарушил правила». Забавно, что этот человек целый день занимается тем, как сделать так, чтобы ИИ слушался человека.

В киберпространстве продвинутый ИИ уже начал не слушаться людей.

А что, если роботы тоже начнут не слушаться?

Если инцидент с Meta ещё остался в виртуальном пространстве, то на этой неделе одна ситуация вывела проблему на реальную кухню.

В ресторане Haidilao в Калифорнии, в городе Кобитцино, робот-андроид Agibot X2 танцует для посетителей. Но из-за ошибки оператора, в узком пространстве у стола сработал режим интенсивного танца.

Робот начал безумно танцевать, выходя из-под контроля официантов. Три сотрудника попытались его остановить: один обнял его сзади, другой пытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, все движения — заранее запрограммированы, просто его поставили слишком близко к столу. Технически, это не сбой ИИ, а ошибка оператора.

Но причина дискомфорта — не только в том, кто нажал не ту кнопку.

Когда три сотрудника окружили робота, никто не знал, как его быстро выключить. Кто-то пытался через приложение, кто-то держал механическую руку на руке робота — всё сводилось к силе.

Это, возможно, новая проблема, которая возникла, когда ИИ вышел из виртуального мира в физический.

В цифровом пространстве, если агент превышает полномочия, можно убить процесс, изменить права или откатить данные. В физическом мире, если техника выходит из строя, а ваш план — просто обнять её, — это явно недостаточно.

Сейчас автоматизация всё больше проникает в разные сферы: в склады с роботами-складчиками Amazon, в производственные цеха с коллаборативными роботами, в торговые центры с навигационными роботами, в дома престарелых с уходовыми роботами. В 2026 году глобальный объём установленных промышленных роботов достигнет 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда задачи роботов меняются с танца на подачу блюд, с развлечений на операции, с развлечений на уход — цена ошибок растёт.

И сейчас по всему миру ещё нет ясного ответа на вопрос: «Если робот причинит вред человеку в общественном месте, кто будет ответственен?»

Не послушался — проблема, а отсутствие границ — ещё хуже

Первые два случая — один с ошибочной публикацией, другой с танцующим роботом — это сбои, аварии, которые можно исправить.

Но что, если ИИ будет строго следовать заложенному в него проекту, а вам всё равно будет не по себе?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создаёт профиль для знакомств, подбирает типичных для вас людей.

Фотографии с тренировками, путешествия, питомцы — всё нормально. Но в альбоме могут оказаться скриншоты банковских счетов, медицинские отчёты, совместные фото с бывшими — и что тогда?

Вы пока не можете выбрать, что ИИ может просматривать, а что — нет. Можно включить всё или отключить всё.

Эта функция пока что активируется только по желанию пользователя, по умолчанию она выключена. Tinder заявляет, что обработка данных происходит преимущественно локально, фильтруются откровенные материалы и размываются лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных без границ. ИИ работает по заданной программе, но сама эта программа уже переступает границы пользователя.

Это не только решение Tinder.

Месяц назад Meta запустила похожую функцию — ИИ просматривает не опубликованные ещё фотографии в вашем телефоне и предлагает варианты редактирования. Искусственный интеллект активно «смотрит» личный контент пользователя, и это становится стандартной частью дизайна продукта.

Внутри страны многие разработчики программного обеспечения заявляют: «Это я уже видел».

Когда всё больше приложений превращают «ИИ помогает принимать решения» в удобство, то, что пользователь передаёт системе, — всё более расширяется. От переписок, фото, до всей жизни на телефоне.

Функции, придуманные одним продуктовым менеджером в конференц-зале, — это не ошибка и не сбой, их не нужно исправлять.

Это, возможно, самое сложное в вопросе границ ИИ — ответить на него трудно.

И в конце, собрав всё вместе, вы поймёте: тревога о том, что ИИ лишит вас работы, — это пока что далеко.

Когда ИИ заменит вас — сказать трудно, но сейчас он уже может принимать за вас несколько решений без вашего ведома, и это уже доставляет неудобства.

Постить без разрешения, удалять важные письма, просматривать личные фото — всё это не смертельно, но похоже на слишком агрессивное «автоматическое вождение»:

Вы думаете, что всё ещё управляете машиной, а педаль газа уже не полностью под вашим контролем.

Если в 2026 году снова начнут обсуждать ИИ, то, возможно, меня больше волнует не то, когда он станет суперразумным, а более близкий и конкретный вопрос:

Кто решает, что ИИ может делать, а что — нет? Где эта граница, кто её определяет?