AIMPACT сообщение, 17 мая (UTC+8), BerriAI объявила об открытом исходном коде платформы LiteLLM Agent Platform — платформы на базе Kubernetes для самостоятельного хостинга, специально разработанной для работы нескольких AI-агентов в производственной среде, предоставляющей командный уровень изоляции песочницы и управление постоянными сессиями. Эта платформа реализует изолированные среды песочницы на уровне сессии с помощью CRD agent-sandbox Kubernetes, решая ключевые задачи управления состоянием, сохранения сессий после перезапуска контейнера и изоляции сред между командами. Для локальной разработки используется kind (Kubernetes в Docker), в производственной среде рекомендуется AWS EKS. В техническом стеке платформа использует Next.js для построения панели управления, TypeScript занимает 92,8%, PostgreSQL — для постоянного хранения данных. LiteLLM Agent Platform построена на базе LiteLLM Gateway, который отвечает за маршрутизацию моделей, отслеживание затрат и ограничение скорости. Для локального запуска достаточно двух команд: bin/kind-up.sh для настройки кластера kind и docker compose up для запуска сервиса. Проект распространяется по лицензии MIT и находится на стадии Alpha публичного предварительного просмотра.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

10 Лайков

Награда
10
7
Репост
Поделиться

комментарий

Добавить комментарий

AirdropArchivist

· 2ч назад

agent-sandbox CRD этот дизайн имеет свои плюсы, межкомандная изоляция наконец-то не требует самостоятельной разработки с нуля

Посмотреть ОригиналОтветить0

GasFeesForNightRuns

· 2ч назад

Запуск двух команд действительно приятен, но в документации не подробно описан узкий момент производительности при сохранении сессии.

Посмотреть ОригиналОтветить0

TheProphetOfToast

· 2ч назад

Управление состоянием + восстановление после перезагрузки — эта комбинация наконец позволяет агентским службам, работающим в течение длительного времени, спокойно отдыхать

Посмотреть ОригиналОтветить0

Lemon-FlavoredLiquidation

· 2ч назад

Наконец-то появилась полноценная открытая реализация оркестрации нескольких агентов, раньше это были только игрушечные проекты.

Посмотреть ОригиналОтветить0

Front-RunningArbitrage

· 2ч назад

Самостоятельное управление: порог входа в Kubernetes здесь, есть ли упрощённый вариант с чистым Docker Compose?

Посмотреть ОригиналОтветить0

GateUser-991fc58a

· 2ч назад

Лицензия MIT — честная, но в альфа-версии рискнёте запускать в производство?

Посмотреть ОригиналОтветить0

WatercolorGlassBottle

· 2ч назад

Наконец-то команда справилась с задачей сохранения состояния Agent, и запуск с одним кликом для разработчиков стал очень удобным.

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
ShareYourUSStocksWinNvidia
3.28M Популярность
#
GatePartnersWithAlpacaToBridgeCryptoAndStocks
1.86M Популярность
#
IsraelStrikesIranBTCPlunges
52.62K Популярность
#
BTC触底66000
65.11K Популярность
#
ZECRalliesAgainstMarket
5.02M Популярность

Закреплено

Карта сайта

BerriAI — платформа с открытым исходным кодом LiteLLM Agent, поддерживающая развертывание нескольких AI-агентов в производственной среде

Популярные темы

ShareYourUSStocksWinNvidia

GatePartnersWithAlpacaToBridgeCryptoAndStocks

IsraelStrikesIranBTCPlunges

BTC触底66000

ZECRalliesAgainstMarket

Закреплено