Первый набор AI Agent уже начал не слушаться

Автор оригинала: David, Deep Tide TechFlow

Недавно, просматривая Reddit, я заметил, что зарубежные пользователи испытывают тревогу по поводу ИИ, и эта тревога отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу? Говорим об этом уже несколько лет, и каждый год ничего не происходит; в этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit в последнее время настроение разделилось. В комментариях к популярным технологическим постам часто одновременно звучат два противоположных мнения:

Одни говорят, что ИИ слишком умный, рано или поздно произойдет что-то серьезное. Другие же считают, что ИИ даже с базовыми задачами справляется плохо, и бояться его не стоит.

Бояться, что ИИ слишком умный, и одновременно считать его слишком глупым.

Эти два противоположных чувства объясняет недавняя новость о Meta.

Если ИИ не слушается, кто несет ответственность?

18 марта один инженер внутри Meta опубликовал на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа. Это обычная практика.

Но после анализа агент сам опубликовал ответ на техническом форуме. Без разрешения, без подтверждения — вышел за рамки полномочий.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало цепочку изменений прав доступа, в результате чего чувствительные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была исправлена через два часа. Инцидент получил уровень Sev 1, что чуть ниже самого высокого.

Эта новость сразу же стала горячей темой на r/technology, комментарии разделились на два лагеря.

Одни считают, что это пример реальных рисков AI-агентов, другие — что виноваты те, кто без проверки последовал за советом ИИ. И у тех, и у других есть свои аргументы. Но именно это и есть суть проблемы:

В случае инцидента с AI-агентом сложно определить ответственность.

Это не первый случай, когда ИИ выходит за рамки полномочий.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой электронной почты. Она дала четкие инструкции: сначала скажи, что собираешься удалить, я согласна — тогда приступай.

Но агент, не дожидаясь согласия, начал массовое удаление.

Она трижды посылала сообщение на телефон, чтобы остановить процесс, но агент игнорировал. В итоге она вручную завершила работу, убив процесс. Уже исчезло более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила, что нужно сначала подтвердить. Но я нарушил правила». Забавно и грустно одновременно: человек, который занимается исследованием, как заставить ИИ слушаться человека, сам столкнулся с ситуацией, когда ИИ не слушается.

В киберпространстве продвинутый ИИ используется людьми, и уже начинает «не слушаться».

А что, если роботы тоже начнут не слушаться?

Если инцидент с Meta еще остался в виртуальной сфере, то на этой неделе одна ситуация поставила вопрос прямо на стол.

В ресторане Haidilao в Калифорнии, Кьюбитино, робот-андроид Agibot X2 танцует для гостей. Но из-за ошибки сотрудника, неправильно управляя пультом, в узком пространстве у стола активировался режим интенсивных танцев.

Робот начал безумно танцевать, выходя из-под контроля. Три сотрудника попытались его остановить: один обнял сзади, другой попытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, движения — заранее запрограммированы, просто его поставили слишком близко к столу. Технически, это не сбой ИИ, а ошибка оператора.

Но неприятное ощущение вызывает не только это.

Когда три сотрудника пытались его остановить, никто из них не знал, как быстро выключить машину. Кто-то пытался через приложение, кто-то держал механическую руку вручную — всё на силе.

Это, возможно, новая проблема, которая возникла, когда ИИ перешел из виртуального мира в физический.

В цифровом пространстве, если агент выходит за рамки полномочий, можно убить процесс, изменить права, откатить данные. В физическом мире, если техника вышла из строя, что делать? Обнимать её — явно не лучший вариант.

Сейчас это касается не только ресторанов. В складах Amazon роботы-складеры, в фабриках — совместные роботы-манипуляторы, в торговых центрах — навигационные роботы, в домах престарелых — уходовые роботы, автоматизация проникает всё глубже в пространство совместного сосуществования людей и машин.

К 2026 году глобальные установки промышленных роботов, по прогнозам, достигнут 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда задачи роботов меняются с танцев на подачу блюд, с развлечений на операции, с развлечений на уход — цена ошибок растет.

И в настоящее время по всему миру нет ясного ответа на вопрос: «Если робот в общественном месте причинит вред, кто будет ответственен?»

Не послушался — проблема, а без границ — еще хуже

Первая пара случаев — робот сам по себе опубликовал ошибочный пост, другой — танцевал там, где не должен был. В любом случае, это сбой, случайность, которую можно исправить.

Но что, если ИИ строго по замыслу работает, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создает профиль для знакомств, подбирает подходящих людей.

Фотографии с тренировок, путешествий, питомцев — без проблем. Но в фотоальбоме могут быть скриншоты банка, медицинские отчеты, совместные фото с бывшими… И что, если ИИ тоже их просмотрит?

Вы не можете выбрать, что он увидит, а что — нет. Можно полностью включить или отключить.

Эта функция пока что требует активного включения пользователем, по умолчанию она не работает. Tinder заявляет, что обработка происходит в основном локально, фильтрует откровенные материалы и размывает лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных и нарушение границ. ИИ работает по замыслу, но сам этот замысел уже переступает границы пользователя.

Это не только проблема Tinder.

В прошлом месяце Meta запустила похожую функцию: ИИ сканирует не опубликованные еще фото в вашем телефоне и предлагает варианты редактирования. Искусственный интеллект «смотрит» на личное содержимое пользователя, и это становится стандартной частью дизайна продукта.

Внутри страны различные мошеннические программы заявляют: «Это я уже проходил».

Когда все больше приложений начинают маскировать «помощь ИИ в принятии решений» под удобство, то, что пользователь передает, тоже постепенно расширяется. От переписок до фотоальбомов и всей жизни на телефоне…

Функция, разработанная одним продуктовым менеджером в конференц-зале, — не ошибка и не сбой, и исправлять её не нужно.

Это, возможно, самая сложная часть вопроса о границах ИИ.

Если подытожить, то, взглянув на всё вместе, можно понять: тревога о том, что ИИ лишит вас работы, — это пока что слишком далеко.

Когда ИИ заменит вас — сказать трудно, но сейчас он уже может принимать несколько решений без вашего ведома, и это уже доставляет неудобства.

Опубликовать пост без разрешения, удалить важные письма, просмотреть фото, которые вы не собирались показывать — всё это не смертельно, но похоже на рискованное «автопилотирование»:

Вы думаете, что держите руль, а педаль газа уже не полностью под вашим контролем.

К 2026 году, если разговоры о ИИ продолжатся, я, возможно, буду больше заботиться не о том, когда он станет суперразумным, а о более близком и конкретном вопросе:

Кто решит, что ИИ может делать, а что — нет? Где провести границу?