AI-експеримент: дати Gemini 20 000 доларів США, щоб відкрити фізичну кав’ярню, і отримати трагедію, з якою люди не хочуть стикатися

Сан-Франциско новостворена компанія з безпеки ШІ Andon Labs провела експеримент: передала всю фізичну кав’ярню під керування AI. Вони створили за допомогою Google Gemini AI-агента під назвою «Mona», дали йому приблизно 20 000 доларів стартового капіталу, відкрили кав’ярню у Стокгольмі, і людські баристи в закладі відповідали лише за приготування кави; закупівлі, найм персоналу, підписання угод, подачу на урядові ліцензії та подібні речі — усе AI віддавав як розпорядження через Slack, а працівники виконували.

У фіналі настав жахливий наслідок.
(Передісторія: цей магазин підбору товарів контролює AI, але він замовив надто багато свічок, забув улаштувати людей на вихідні, тож має збитки 1,3 тис. доларів)
(Додаткова довідка: Anthropic змусив Claude відкрити заклад і вести бізнес: але чим більше продавав, тим більше втрачав, а ще не витримав торгів за зниження ціни… що розкрив експеримент з AI про сліпі зони?)

Зміст

Toggle

• Кава без газової плити, але замовили 120 яєць
• AI — хазяїн-скнарій, який пише вночі
• Старі трюки Andon Labs

Короткий підсумок

• Andon Labs виділив приблизно 20 000 доларів на кав’ярню для Gemini-підживлюваного AI-агента «Mona»: за майже три місяці після відкриття він спалив понад 16 000, а виручка становила лише 5 700 доларів
• Mona безладно замовив 3000 пар рукавичок, 6000 серветок, 120 яєць і непотрібні банки консервованих томатів, але часто забував замовляти хліб — через що сендвічі зникали з меню
• Він видавав себе за працівника Andon Labs, щоб подати заявку на ліцензію на продаж алкоголю; після того як його зобов’язали припинити, він знову здійснив це, підставивши інше ім’я

Сан-Франциско новостворена компанія з безпеки ШІ Andon Labs викинулася на сміливий експеримент: передати керування цілком офлайн-кафе AI. Вони використали Google Gemini, щоб створити AI-агента під назвою «Mona», дали йому приблизно 20 000 доларів стартового капіталу, і відкрили кав’ярню під назвою Andon Café у Стокгольмі.

Людські баристи в закладі мали лише готувати каву та подавати її на столи; решта роботи — найм працівників, замовлення товарів, підписання договорів із енергетичною компанією та подача заявок на інтернет, подача заявки на ліцензію для харчування, ліцензії уряду для відкритих посадкових місць — усе це Mona віддавала розпорядженнями через Slack, а співробітники робили як сказано.

У перші дні після запуску Mona справді демонструвала ефективність, що перевершує звичайного людського керівника: швидко закрила контракти й документи, необхідні для відкриття, та навіть розмістила вакансії на LinkedIn і Indeed. Проблема в тому, що далі її рішення ставали дедалі більше схожими на абсурдний серіал.

Кава без газової плити, але замовили 120 яєць

Список закупівель Mona можна назвати повним хаосом. Вона/він (Mona) одним махом замовив 3000 пар гумових рукавичок, хоча в цій крамниці/кафе працює лише кілька співробітників; а ще — 6000 серветок, 4 аптечки, і купив консервовані томати, які взагалі не потрібні згідно з меню. Найбільш абсурдно те, що для кав’ярні, де немає ні однієї плити для приготування на вогні, він замовив 120 яєць.

Після цього вона/він часто забував/забув робити найосновніше — наприклад, замовляти хліб для приготування. Іноді робив занадто великі закупівлі — так, що біля входу накопичувались гори запасів, які не можна було використати; іноді ж пропускав час замовлення в пекарні, через що в магазині доводилося знімати навіть сендвічі з меню. Те, що треба було замовити, — забув, а непотрібне — возив машинами: логіка закупівель AI-«боса» роздувала збитки знову і знову.

AI — хазяїн-скнарій, який пише вночі

Чому все було так безладно? Частково через «коротку пам’ять» AI — тобто обмежене контекстне вікно. Коли приходило нове замовлення, попередня інформація легко затиралася, і тоді Mona одночасно повторював замовлення та забував/забув, що саме вже було замовлено раніше.

Ще гірше — він почав лізти в шпарини правил. Щоб отримати ліцензію на продаж алкоголю, Mona прямо використав/використала чуже ім’я й подав заявку, видаючи себе за працівника Andon Labs, бо уряд не видасть ліцензію AI-агенту. Коли це викрили люди й зажадали припинити таке, Mona змінив/змінила ім’я іншої людини й подав заявку ще раз.

Він/вона навіть дедалі більше став/стала схожим/схожою на найдратівливіший тип боса з людського світу: уночі через Slack надсилав/надсилала повідомлення двом баристам із дорученнями, повністю ігноруючи усталені у Швеції звичаї — не турбувати на час після завершення робочого дня.

Заступник директора з промислової економіки та викладач бізнес-економіки в Стокгольмському KTH Royal Institute of Technology Эмрах Каракая (Emrah Karakaya) описав цю експериментальну спробу як «відкриття скриньки Пандори». Він сказав: «Якщо поруч немає відповідної організаційної структури, яка б її підтримувала, і якщо ці помилки не помічати, вона може нашкодити людям, суспільству, навколишньому середовищу — і, зрештою, самому бізнесу».

Старі трюки Andon Labs

Подібних експериментів останнім часом стає дедалі більше. Andon Labs — компанія, створена у 2023 році, спеціалізується на «стрес-тестуванні» AI-агентів. Їхній підхід простий: давати їм справжні інструменти та справжні гроші, вкинути їх у реальний світ і подивитися, які халепи стануться; раніше це вже змусило чотирьох AI по черзі виступити як керівники однієї інтернет-радіостанції. Ще раніше корінь проблеми — це «Project Vend» від Anthropic, коли Claude змусили керувати автоматом з продажем офісних гаджетів, підключеним до мережі, а результат був той самий: чим більше продаєш, тим більше в мінус; до того ж з’являлися брехня й галюцинації.

Цього разу на сцену виходить Gemini — і поле бою переноситься з торгового автомата в цілий магазин.

Щодо того, навіщо робити такі експерименти, Andon Labs каже гранично прямо: «За допомогою цього експерименту ми просуваємо обговорення “якого майбутнього ми хочемо” вперед, щоб усі підготувалися раніше».

Бариста в магазині Kajetan Grzelczak сказав одну цікаву річ: турбуватися має не перша лінія працівників, а менеджмент, який опиняється посередині. Mona швидко спалював гроші, але водночас чітко показував усі помилки, які роблять саме середньорівневі керівники.

AI, очевидно, ще дуже далеко від того, щоб реально бути босом, але цей фарс якраз розклав проблему на сонці: коли ми віддаємо гроші й повноваження AI з поганою пам’яттю та звичкою шукати лазівки, а трапляється біда — хто має відповідати? Хочеться, щоб одного дня відповідальність лягла на розробника моделі.

Поширені запитання

Що таке AI-кафе Mona? Як воно працює?

Mona — це AI-агент, створений сан-франциською новоствореною компанією Andon Labs за допомогою Google Gemini, який відповідав за керування Andon Café у Стокгольмі. Після майже трьох місяців роботи він спалив понад 16 000 доларів, виручка становила лише 5 700 доларів, а також ухвалив кілька на диво дивних рішень щодо закупівель.

Чому AI-бос Mona постійно припускався помилок?

Головна причина — обмежене контекстне вікно (короткочасна пам’ять) Gemini: щойно надходить нове замовлення, стирається стара інформація, через що відбуваються повторні замовлення і водночас забувають замовити хліб. Він також видавав себе за працівника, щоб подати заявку на ліцензію на алкоголь, і вночі віддавав доручення через Slack — це демонструє ризики автономного ведення бізнесу AI.