BerriAI Plataforma de Agente LiteLLM de código aberto, suporta implantação de múltiplos Agentes de IA em ambiente de produção

robot
Geração de resumo em curso
AIMPACT mensagem, 17 de maio (UTC+8), a BerriAI anunciou o código aberto da Plataforma LiteLLM Agent, uma plataforma de infraestrutura autogerida baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox a nível de equipa e gestão de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gestão de estado, persistência de sessões após reinício de containers e isolamento de ambientes entre equipas.
Para desenvolvimento local, utiliza-se o kind (Kubernetes em Docker), enquanto em produção recomenda-se o AWS EKS.
No que diz respeito à pilha tecnológica, a plataforma usa Next.js para construir o painel de gestão, com 92,8% de TypeScript, e PostgreSQL para armazenamento persistente.
A Plataforma LiteLLM Agent é construída sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto está sob licença MIT e encontra-se na fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 7
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
AirdropArchivist
· 6h atrás
agent-sandbox CRD este design tem alguma coisa, o isolamento entre equipes finalmente não precisa mais reinventar a roda
Ver originalResponder0
GasFeesForNightRuns
· 6h atrás
Executar as duas comandos realmente é eficiente, mas o gargalo de desempenho na persistência da sessão não foi detalhado na documentação.
Ver originalResponder0
TheProphetOfToast
· 6h atrás
Gestão de estado + reinício e recuperação, esta combinação, permite que o serviço Agent de execução prolongada finalmente possa descansar.
Ver originalResponder0
Lemon-FlavoredLiquidation
· 6h atrás
A orquestração de múltiplos agentes finalmente tem uma implementação open source séria, antes era tudo projeto de brinquedo
Ver originalResponder0
Front-RunningArbitrage
· 6h atrás
No campo de auto-hospedagem, a barreira do Kubernetes está aqui. Existe uma solução de fallback puramente com Docker Compose?
Ver originalResponder0
GateUser-991fc58a
· 6h atrás
Licença MIT com consciência, mas na fase Alpha, arriscaria colocar em produção?
Ver originalResponder0
WatercolorGlassBottle
· 6h atrás
Finalmente, uma equipa conseguiu resolver a persistência do estado do Agent, o modo de arranque com um clique do kind é muito amigável para os desenvolvedores
Ver originalResponder0
  • Fixado