BerriAI Відкритий код платформи LiteLLM агентів, підтримує розгортання кількох AI агентів у виробничому середовищі

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 17 травня (UTC+8), BerriAI оголосила про відкритий код платформи LiteLLM Agent Platform — це платформа на основі Kubernetes для самостійного розгортання, спеціально розроблена для роботи кількох AI-агентів у виробничому середовищі, що забезпечує ізоляцію командного рівня та збереження сесій.
Ця платформа реалізує ізольоване середовище для сесій через CRD agent-sandbox Kubernetes, вирішуючи ключові проблеми управління станом, збереження сесій після перезапуску контейнера та ізоляції середовищ між командами.
Локальна розробка використовує kind (Kubernetes у Docker), у виробничому середовищі рекомендується AWS EKS.
Щодо технологічного стеку, платформа побудована на Next.js для панелі управління, TypeScript становить 92,8%, PostgreSQL використовується для збереження даних.
LiteLLM Agent Platform побудована на базі LiteLLM Gateway, який відповідає за маршрутизацію моделей, відстеження витрат і обмеження швидкості.
Локальне запускання вимагає лише двох команд: bin/kind-up.sh для налаштування кластера kind, docker compose up для запуску сервісів.
Цей проект ліцензовано за MIT, знаходиться на стадії альфа-публічного попереднього перегляду.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено