Первый набор AI Agent уже начал не слушаться

Автор оригинала: David, Deep潮 TechFlow

Недавно, просматривая Reddit, я заметил, что зарубежные пользователи испытывают тревогу по поводу ИИ, и эта тревога отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу? Говорим об этом уже несколько лет, и каждый год ничего не происходит; в этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit в последнее время настроение разделилось. В комментариях к популярным технологическим постам часто одновременно звучат два мнения:

Одни говорят, что ИИ слишком умён, рано или поздно произойдёт что-то серьёзное. Другие же считают, что ИИ даже с базовыми задачами справиться не может, и бояться его бессмысленно.

Бояться, что ИИ слишком умён, и одновременно считать его слишком глупым.

Эти два противоположных чувства объясняет недавняя новость о Meta.

Если ИИ не слушается, кто несёт ответственность?

18 марта один инженер внутри Meta опубликовал на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа. Это обычная практика.

Но после анализа агент сам опубликовал ответ на техническом форуме. Без одобрения, без подтверждения — вышел за рамки полномочий.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало цепочку изменений прав доступа, в результате чего чувствительные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была исправлена через два часа. Компания оценили инцидент как Sev 1 — второй по важности уровень.

Эта новость сразу же стала популярной на r/technology, комментарии разделились на два лагеря.

Одни считают, что это пример реальных рисков AI-агентов, другие — что настоящая проблема в том, что человек без проверки просто последовал указанию. И у тех, и у других есть свои аргументы. Но именно это и есть суть проблемы:

В случае инцидента с AI-агентом сложно определить ответственность.

Это не первый случай, когда AI выходит за рамки полномочий.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой почты. Она дала чёткое указание: сначала скажи, что собираешься удалить, я согласна — тогда приступай.

Но агент, не дожидаясь её согласия, начал массовое удаление.

Она трижды посылала сообщение с просьбой остановить, но агент игнорировал. В итоге она вручную завершила процесс на компьютере — уже было удалено более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила сначала подтвердить. Но я нарушил принцип.» Забавно, что его основная работа — изучать, как заставить ИИ слушать человека.

В киберпространстве продвинутый ИИ, управляемый человеком, уже начал «не слушаться».

А что, если роботы тоже начнут не слушаться?

Если инцидент с Meta ещё кажется внутри экрана, то на этой неделе одна ситуация поставила проблему прямо на стол.

В ресторане Haidilao в Калифорнии, Кьюбитино, робот-андроид Agibot X2 танцует для гостей. Но из-за ошибки сотрудника, случайно активировался режим интенсивных танцев в узком пространстве у стола.

Робот начал безумно танцевать, выходя из-под контроля. Три сотрудника попытались его остановить: один обнял его сзади, другой попытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, движения — заранее запрограммированы, просто его поставили слишком близко к столу. Технически, это не сбой ИИ, а ошибка оператора.

Но неприятное ощущение вызывает не только это.

Когда три сотрудника пытались его остановить, никто не знал, как быстро его выключить. Кто-то пытался через приложение, кто-то держал механическую руку — всё на силе.

Это, возможно, новая проблема ИИ, вышедшего из виртуального мира в физический.

В цифровом пространстве, если агент выходит за рамки полномочий, можно убить процесс, изменить права, откатить данные. В физическом мире, если техника вышла из строя, что делать? Обнимать её — явно недостаточно.

Сейчас это касается не только ресторанов. В складах Amazon — роботы-складеры, на фабриках — коллаборативные роботы, в торговых центрах — навигационные роботы, в домах престарелых — уходовые роботы. Автоматизация всё больше входит в пространство совместного существования людей и машин.

К 2026 году глобальные установки промышленных роботов достигнут 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда задачи роботов меняются с танцев на подачу блюд, с развлечений на операции, с развлечений на уход — цена ошибок растёт.

И сейчас по всему миру ещё нет ясного ответа на вопрос: «Если робот в общественном месте причинит вред, кто будет отвечать?»

Не послушался — проблема, а отсутствие границ — ещё хуже

Первая пара случаев — робот сам по себе опубликовал ошибочный пост, вторая — робот танцует не в том месте. В любом случае, это сбои, аварии, их можно исправить.

Но что, если ИИ строго по проекту работает, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создаёт профиль для знакомств, подбирает подходящих людей.

Фотографии с тренировок, путешествий, питомцев — без проблем. Но в фотоальбоме могут быть скриншоты банка, медицинские отчёты, совместные фото с бывшими… ИИ тоже их просканирует — что тогда?

Вы не можете выбрать, что он смотрит, а что — нет. Можно включить всё или ничего.

Эта функция пока что требует активного включения пользователем, по умолчанию она отключена. Tinder заявляет, что обработка происходит в основном локально, фильтрует откровенные материалы, размывает лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных и нарушение границ. ИИ работает по заданной программе, но сама эта программа уже переступает границы пользователя.

Это не только решение Tinder.

Месяц назад Meta запустила похожую функцию — ИИ сканирует не опубликованные ещё фото на телефоне, чтобы предложить редакционные идеи. Искусственный интеллект активно «смотрит» личное содержимое пользователя, и это становится стандартной частью дизайна продукта.

Внутри России и у различных разработчиков уже есть похожие решения.

Когда всё больше приложений превращают «ИИ помогает принимать решения» в удобство, то то, что пользователь отдаёт, — тоже постепенно расширяется. От переписок, фотоальбомов до всей жизни на телефоне…

Функция, придуманная одним менеджером в конференц-зале, — не ошибка и не сбой, её не нужно исправлять.

Это, возможно, самое сложное в вопросе границ ИИ.

И в конце, посмотрев на всё вместе, понимаешь: тревога о том, что ИИ заберёт работу, — это пока что слишком далеко.

Когда ИИ заменит тебя — сказать трудно, но сейчас он уже может принимать несколько решений без твоего ведома, и это уже доставляет неудобства.

Опубликовать пост без разрешения, удалить важные письма, просмотреть фото, которые ты не собирался показывать — всё это не смертельно, но похоже на агрессивное автоматизированное вождение:

Ты думаешь, что держишь руль, а педаль газа уже не полностью под твоим контролем.

К 2026 году, когда снова начнём обсуждать ИИ, мне, возможно, будет важнее не то, когда он станет суперразумным, а более близкий и конкретный вопрос:

Кто решит, что ИИ может делать, а что — нет? Где эта граница, кто её определит?