Не трогайте мой кошелек: исследование Apple показывает, что пользователи не любят, когда ИИ ведет себя слишком умно

IT之家 13 февраля сообщает, что команда исследований машинного обучения Apple 7 февраля опубликовала статью «Картирование пространства дизайна пользовательского опыта для агентов компьютерного использования», в которой сосредоточена задача выявления реальных ожиданий и предпочтений пользователей в взаимодействии с ИИ-агентами.

Исследователи отмечают, что несмотря на активные инвестиции рынка в разработку ИИ-агентов, исследования форм интерфейсов и логики взаимодействия остаются недостаточно проработанными. В связи с этим команда анализировала существующие продукты и проводила полевые тесты с пользователями, чтобы попытаться определить стандарты проектирования в этой новой области.

На первом этапе исследования, как сообщает IT之家 со ссылкой на блог, команда подробно проанализировала 9 популярных ИИ-агентов для настольных и мобильных платформ, включая Claude Computer Use, OpenAI Operator и AutoGLM.

Путем консультаций с 8 опытными специалистами исследователи создали систему классификации по четырем основным аспектам: «команды пользователя», «объяснимость действий», «контроль пользователя» и «модель ментальных представлений». Эта система охватывает весь процесс — от того, как пользователь дает команды, до того, как ИИ демонстрирует свои планы действий, сообщает о ошибках и передает контроль.

На втором этапе исследования использовался классический метод «Волшебник из страны Оз». В команду были набраны 20 пользователей с опытом работы с ИИ, которым было поручено выполнить задачи по аренде жилья или онлайн-шоппингу через чат-интерфейс.

Чтобы исключить влияние технических сбоев и точно зафиксировать реальные психологические реакции и поведенческие модели пользователей при столкновении с решениями ИИ, Apple использовала имитацию работы ИИ с реальными операторами (включая преднамеренные ошибки или зацикливания). Пользователи не знали, что за экраном находится исследователь из соседней комнаты.

Результаты эксперимента показали, что у пользователей есть тонкое ощущение «прозрачности»: они хотят знать, как движется ИИ, но при этом не желают управлять каждым шагом в мельчайших деталях, иначе теряется смысл использования агента.

Эти потребности меняются в зависимости от сценария: в исследовательских или незнакомых задачах пользователи хотят видеть больше промежуточных шагов и объяснений; в высокорискованных ситуациях (например, оплата, изменение данных аккаунта) они требуют абсолютного контроля и подтверждения.

В заключение, исследование подчеркивает, что доверие — основа взаимодействия человека и машины, но оно очень уязвимо. Если ИИ при столкновении с неоднозначным выбором не уточняет у пользователя или принимает решения самостоятельно (молчаливое предположение), или отклоняется от первоначального плана без уведомления, доверие быстро разрушится.

После возникновения неопределенности пользователи не хотят, чтобы ИИ выбирал случайным образом ради автоматизации, а предпочитают, чтобы он приостанавливался и запрашивал разъяснения, особенно если такие решения могут привести к ошибкам при покупке или другим реальным потерям.

IT之家 прикладывает ссылку для справки

официальный сайт Apple: Mapping the Design Space of User Experience for Computer Use Agents
Arxiv: Mapping the Design Space of User Experience for Computer Use Agents