BerriAI 开源 LiteLLM Agent Platform,支持生产环境多 AI Agent 部署

robot
摘要生成中
AIMPACT 消息,5 月 17 日(UTC+8),BerriAI宣布开源LiteLLM Agent Platform,这是一款基于Kubernetes的自托管基础架构平台,专为生产环境运行多个AI Agent设计,提供团队级沙箱隔离和持久化会话管理。该平台通过Kubernetes的agent-sandbox CRD实现会话级独立沙箱环境,解决状态管理、容器重启后会话持久化及团队间环境隔离等核心难题。本地开发使用kind(Kubernetes in Docker),生产环境推荐AWS EKS。 技术栈方面,平台采用Next.js构建管理面板,TypeScript占比92.8%,PostgreSQL作持久化存储。LiteLLM Agent Platform构建于LiteLLM Gateway之上,Gateway负责模型路由、成本追踪和速率限制。本地启动仅需两条命令:bin/kind-up.sh配置kind集群,docker compose up启动服务。该项目采用MIT许可证,处于Alpha公开预览阶段。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论