Діалог з Amazon Web Services Май-Лан: Наступний бойовий майданчик S3, як реагувати на бурхливий сплеск споживання даних у епоху агентів

null

На початку року, популярність OpenClaw на китайському ринку показала величезний потенціал Agent. Але разом із цим з’явилася питання, на яке повинні відповісти всі хмарні провайдери: коли Agent почне божевільно розмножуватися, як кібер-омари, і високочастотно викликати дані, чи готовий рівень хмарної інфраструктури для штучного інтелекту, особливо рівень даних?

Наприклад, команда даних компанії часто стикається з вузьким місцем у рівні даних при розгортанні Agent у виробничому середовищі. Створення агентів на різних платформах, таких як векторні бази даних, реляційні бази даних, графові бази даних і озерні сховища, вимагає синхронізації каналів даних для збереження актуальності контекстної інформації. Але у реальному виробничому середовищі ці контекстні дані з часом застарівають.

Ця нагальність виникає через різницю у моделях споживання даних між Agent і людськими інженерами.

«Agent споживає дані у надзвичайно активній і радикальній формі, частота викликів до сховищ даних або озер даних вражає.»

Май-Лан Томсен Буковек, віце-президент Amazon Web Services з технологій, у недавній розмові з автором зазначила, що Agent — це режим роботи через «паралельний відбір», тобто: не один запит за раз, а десятки або сотні паралельних, що порівнюються для пошуку найкращого шляху. Це робить Agent набагато більш радикальним у споживанні даних, ніж людина — частота викликів вища на кілька порядків, пропускна здатність даних зростає експоненційно.

Май-Лан додала: «Зараз клієнти дуже прагнуть побудувати інфраструктуру Agent, і вартість або ж співвідношення ціна-якість вже не є другорядними факторами, а стають вирішальними. У найближчі шість місяців до року, з урахуванням вибуху Agent, вибір базових сервісів даних стане критично важливим.»

Зараз святкування OpenClaw згасає, залишаючи за собою попередження про тиск на базові обчислювальні та сховищні можливості хмарних провайдерів. Май-Лан вважає, що Amazon Web Services має природну перевагу у цій галузі: масштаб Amazon S3 (Amazon Simple Storage Service), ефективність Amazon Redshift і Amazon Athena за високої конкуренції — саме для такого масштабного і високочастотного обміну даними Agent.

З нагоди 20-річчя з моменту запуску Amazon S3, у контексті потреб клієнтів у обробці даних в епоху штучного інтелекту, Amazon S3 нещодавно запровадила три великі інновації: S3 Table (табличний формат), S3 Files (файли) і S3 Vector (вектори).

Наприклад, S3 Table підтримує нативну інтеграцію з Apache Iceberg. Май-Лан зазначила, що при обробці даних Agent схильний безпосередньо взаємодіяти з даними у форматі Iceberg через SQL. Його логіка полягає в тому, що Agent побудований на великих моделях, які вже навчені працювати з SQL-синтаксисом і форматом даних Iceberg. Зберігання всіх таблиць у форматі Iceberg у S3 дозволяє Agent ефективно працювати з даними без необхідності вивчати складні API доступу. Зараз Agent і S3, і Iceberg демонструють високу сумісність.

Коли можливості Iceberg були інтегровані у S3, це викликало нову хвилю інновацій: джерела даних, такі як Postgres і Oracle, почали безпосередньо записувати у Iceberg, а системи Agent — взаємодіяти з цими таблицями. А з появою S3 Vectors все більше AI-застосунків починають використовувати вектори як носії спільної пам’яті, що додає «стан» до взаємодії з AI.

Май-Лан також зазначила, що вектори були введені як нативний тип даних у S3. Їх застосування зосереджене у двох напрямках: по-перше, для побудови контексту з даних у S3 за допомогою векторів, і по-друге, для використання векторів як спільної пам’яті. За п’ять місяців після запуску S3 Vectors відгуки ринку відповідали очікуванням. Багато клієнтів почали використовувати цю функцію, створюючи вектори за допомогою моделей для збагачення контексту даних. Відсоток використання S3 Vectors у пам’яті систем Agent стрімко зростає.

Варто зазначити, що S3 Files було запущено кілька тижнів тому, що дозволяє Agent працювати з даними у S3 через POSIX-стандарт — у вигляді файлової системи. У системі Agent великі моделі дуже орієнтовані на «файли», будь то бібліотеки Python або Shell-скрипти, — це знайомі їм елементи під час тренування. Agent природно схильний сприймати файли як інтерфейс до даних.

Задум S3 Files полягає у тому, щоб підключити файлову систему EFS до бакету S3. Це дозволяє користувачам обробляти дані у S3 через POSIX-інтерфейс: дрібні файли кешуються для швидкого доступу, великі — передаються потоково безпосередньо з S3. Це дає можливість Agent працювати з даними у знайомій файловій системі і розглядати спільну файлову систему як «спільний простір пам’яті» з S3.

З точки зору розвитку пам’яті великих моделей, цей крок має важливе значення. Сучасний досвід у штучному інтелекті поступово вводить глибший контекст діалогу і персоналізацію — між Agent і користувачами, між самими агентами і даними, — модель постійно вдосконалюється. Завдяки подальшому розвитку файлової системи як природного інтерфейсу, здатність Agent до збереження і відтворення пам’яті може бути значно покращена.

Автор звертає увагу, що з 2006 року, коли переважали напівструктуровані дані, такі як зображення, і до появи аналітичних даних, від початку з сховищ даних до озер даних, Amazon Web Services активно просуває Amazon S3 як ключову платформу для AI-робочих навантажень, щоб задовольнити сучасні потреби клієнтів. Май-Лан вважає, що основна ідея Amazon S3 — економічно стимулювати зростання основних типів даних і при цьому дотримуватися принципів доступності, довговічності та стійкості. Це і є причина, чому клієнти вже понад 20 років довіряють свої дані S3, і чому воно може стати платформою для їхніх наступних 20 років.

(Автор статті | Ян Лі, редактор | Ян Лін)