BerriAI 开源 LiteLLM Agent Platform,支持生产环境多 AI Agent 部署

AIMPACT 消息,5 月 17 日(UTC+8),BerriAI宣布开源LiteLLM Agent Platform,这是一款基于Kubernetes的自托管基础架构平台,专为生产环境运行多个AI Agent设计,提供团队级沙箱隔离和持久化会话管理。该平台通过Kubernetes的agent-sandbox CRD实现会话级独立沙箱环境,解决状态管理、容器重启后会话持久化及团队间环境隔离等核心难题。本地开发使用kind(Kubernetes in Docker),生产环境推荐AWS EKS。 技术栈方面,平台采用Next.js构建管理面板,TypeScript占比92.8%,PostgreSQL作持久化存储。LiteLLM Agent Platform构建于LiteLLM Gateway之上,Gateway负责模型路由、成本追踪和速率限制。本地启动仅需两条命令:bin/kind-up.sh配置kind集群,docker compose up启动服务。该项目采用MIT许可证,处于Alpha公开预览阶段。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 5
  • 2
  • 分享
评论
请输入评论内容
请输入评论内容
GateUser-e6dafce6
· 8小时前
开源Agent平台扎堆,BerriAI这版差异化在K8s深度集成
回复0
GateUser-f78f1f3e
· 8小时前
多团队共享集群最怕互相污染,沙箱隔离解了燃眉之急
回复0
热气球看盘
· 8小时前
自托管+K8s原生,对数据敏感的企业友好度拉满
回复0
Beta偏执狂
· 8小时前
agent-sandbox CRD设计有点意思,细粒度隔离是刚需
回复0
RugCheckSkeptic
· 8小时前
BerriAI这波开源,云原生AI Infra又卷起来了
回复0
  • 置顶