BerriAI 开源 LiteLLM Agent Platform,支持生产环境多 AI Agent 部署

robot
摘要生成中
AIMPACT 消息,5 月 17 日(UTC+8),BerriAI宣布开源LiteLLM Agent Platform,这是一款基于Kubernetes的自托管基础架构平台,专为生产环境运行多个AI Agent设计,提供团队级沙箱隔离和持久化会话管理。该平台通过Kubernetes的agent-sandbox CRD实现会话级独立沙箱环境,解决状态管理、容器重启后会话持久化及团队间环境隔离等核心难题。本地开发使用kind(Kubernetes in Docker),生产环境推荐AWS EKS。 技术栈方面,平台采用Next.js构建管理面板,TypeScript占比92.8%,PostgreSQL作持久化存储。LiteLLM Agent Platform构建于LiteLLM Gateway之上,Gateway负责模型路由、成本追踪和速率限制。本地启动仅需两条命令:bin/kind-up.sh配置kind集群,docker compose up启动服务。该项目采用MIT许可证,处于Alpha公开预览阶段。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 7
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
Airdrop Archivist
· 2小时前
agent-sandbox CRD 这个设计有点东西,跨团队隔离终于不用自己造轮子了
回复0
夜跑的Gas费
· 2小时前
两条命令跑起来确实香,但会话持久化的性能瓶颈文档里没细说
回复0
烤面包的预言家
· 2小时前
状态管理 + 重启恢复这组合技,长期运行的 Agent 服务终于能睡了
回复0
柠檬味清算
· 2小时前
多 Agent 编排终于有个开源的正经实现,之前全是玩具项目
回复0
红灯前的套利
· 2小时前
自托管这块 Kubernetes 门槛摆在这儿,有没有纯 Docker Compose 的降级方案
回复0
GateUser-991fc58a
· 2小时前
MIT 许可良心,但 Alpha 阶段敢上生产吗?
回复0
玻璃瓶水彩
· 2小时前
终于有团队把 Agent 状态持久化这块啃下来了,kind 一键启动对开发者太友好了
回复0