AIMPACT повідомлення, 17 травня (UTC+8), BerriAI оголосила про відкритий код платформи LiteLLM Agent Platform, яка є платформою для самостійного хостингу на базі Kubernetes, спеціально розробленою для роботи кількох AI агентів у виробничому середовищі, забезпечуючи командний ізольований пісочницю та управління стійкими сесіями.
Ця платформа реалізує ізольоване середовище пісочниці на рівні сесії через CRD agent-sandbox Kubernetes, вирішуючи ключові проблеми управління станом, збереження сесій після перезапуску контейнера та ізоляції середовищ між командами.
Для локальної розробки використовується kind (Kubernetes у Docker), у виробничому середовищі рекомендується AWS EKS.
Щодо технологічного стеку, платформа використовує Next.js для побудови панелі управління, TypeScript становить 92,8%, PostgreSQL використовується для стійкого зберігання.
LiteLLM Agent Platform побудована на базі LiteLLM Gateway, який відповідає за маршрутизацію моделей, відстеження витрат і обмеження швидкості.
Локальний запуск вимагає лише двох команд: bin/kind-up.sh для налаштування кластера kind, docker compose up для запуску сервісів.
Цей проект ліцензовано за MIT, знаходиться на стадії альфа-публічного попереднього перегляду.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

10 лайків

Нагородити
10
7
Репост
Поділіться

Прокоментувати

Додати коментар

AirdropArchivist

· 5год тому

agent-sandbox CRD цей дизайн має деякі особливості, ізоляція між командами нарешті більше не вимагає самостійного створення коліс