BerriAI — платформа с открытым исходным кодом LiteLLM Agent, поддерживающая развертывание нескольких AI-агентов в производственной среде

AIMPACT сообщение, 17 мая (UTC+8), BerriAI объявила об открытом исходном коде платформы LiteLLM Agent Platform, которая представляет собой платформу на базе Kubernetes для самостоятельного хостинга, специально разработанную для работы нескольких AI-агентов в производственной среде, обеспечивающую командный уровень изоляции песочницы и управление постоянными сессиями. Эта платформа реализует изолированные среды песочницы на уровне сессии с помощью CRD agent-sandbox Kubernetes, решая ключевые задачи управления состоянием, сохранения сессий после перезапуска контейнера и изоляции сред между командами. Для локальной разработки используется kind (Kubernetes в Docker), в производственной среде рекомендуется AWS EKS. В техническом стеке платформа использует Next.js для построения панели управления, TypeScript составляет 92,8%, PostgreSQL — для постоянного хранения данных. LiteLLM Agent Platform построена на базе LiteLLM Gateway, который отвечает за маршрутизацию моделей, отслеживание затрат и ограничение скорости. Для локального запуска достаточно двух команд: bin/kind-up.sh для настройки кластера kind, docker compose up для запуска сервиса. Проект распространяется под лицензией MIT и находится на стадии альфа-открытого предварительного просмотра.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 5
  • 2
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
GateUser-e6dafce6
· 5ч назад
Платформы с открытым исходным кодом для агентов собираются вместе, а версия BerriAI выделяется глубокой интеграцией с K8s.
Посмотреть ОригиналОтветить0
GateUser-f78f1f3e
· 5ч назад
Общий кластер для нескольких команд боится взаимного загрязнения, изоляция в песочнице решила насущную проблему
Посмотреть ОригиналОтветить0
HotAirBalloonViewing
· 5ч назад
Самостоятельное хранилище + нативный K8s, максимально дружественно для предприятий, чувствительных к данным
Посмотреть ОригиналОтветить0
BetaParanoiac
· 5ч назад
agent-sandbox CRD дизайн довольно интересен, тонкая гранулярность изоляции — необходимость
Посмотреть ОригиналОтветить0
RugCheckSkeptic
· 5ч назад
BerriAI эта волна открытого исходного кода, облачно-родная AI Infra снова задалась целью конкуренции
Посмотреть ОригиналОтветить0
  • Закреплено