BerriAI Відкритий код платформи LiteLLM агентів, підтримує розгортання кількох AI агентів у виробничому середовищі

AIMPACT повідомлення, 17 травня (UTC+8), BerriAI оголосила про відкритий код платформи LiteLLM Agent Platform, яка є платформою для самостійного розгортання на базі Kubernetes, спеціально розробленою для роботи кількох AI-агентів у виробничому середовищі, забезпечуючи командний ізольований пісочницю та управління стійкими сесіями.
Ця платформа реалізує ізольоване середовище пісочниці на рівні сесії через CRD agent-sandbox Kubernetes, вирішуючи ключові проблеми управління станом, збереження сесій після перезапуску контейнера та ізоляції середовищ між командами.
Локальна розробка використовує kind (Kubernetes у Docker), а для виробничого середовища рекомендується AWS EKS.
Щодо технологічного стеку, платформа побудована на Next.js для панелі управління, TypeScript займає 92,8%, а PostgreSQL використовується для стійкого зберігання.
LiteLLM Agent Platform побудована на базі LiteLLM Gateway, який відповідає за маршрутизацію моделей, відстеження витрат і обмеження швидкості.
Локальне запускання вимагає лише двох команд: bin/kind-up.sh для налаштування кластера kind, docker compose up для запуску сервісів.
Цей проект має ліцензію MIT і знаходиться на стадії альфа-публічного попереднього перегляду.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 5
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-e6dafce6
· 5год тому
Відкритий платформенний агент зосереджений, BerriAI ця версія відрізняється глибокою інтеграцією з K8s
Переглянути оригіналвідповісти на0
GateUser-f78f1f3e
· 5год тому
Найбільша проблема спільного використання кластерів кількома командами — взаємне забруднення, ізоляція у пісочниці вирішила цю нагальну проблему.
Переглянути оригіналвідповісти на0
HotAirBalloonViewing
· 5год тому
Самостійне управління + нативний K8s — максимальна дружелюбність для підприємств, чутливих до даних
Переглянути оригіналвідповісти на0
BetaParanoiac
· 5год тому
agent-sandbox CRD дизайн досить цікавий, дрібнозернистий ізоляція — це необхідність
Переглянути оригіналвідповісти на0
RugCheckSkeptic
· 5год тому
BerriAI ця хвиля відкритого коду, хмарно-орієнтований AI Infra знову стає популярним
Переглянути оригіналвідповісти на0
  • Закріплено