BerriAI plataforma de agentes LiteLLM de código aberto, suporta implantação de múltiplos agentes de IA em ambientes de produção

robot
Geração do resumo em andamento
AIMPACT mensagem, 17 de maio (UTC+8), BerriAI anunciou o código aberto da Plataforma LiteLLM Agent, uma plataforma de infraestrutura autogerenciada baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox em nível de equipe e gerenciamento de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gerenciamento de estado, persistência de sessões após reinicialização de containers e isolamento de ambientes entre equipes.
Para desenvolvimento local, utiliza-se kind (Kubernetes in Docker), enquanto em produção recomenda-se AWS EKS.
No aspecto técnico, a plataforma usa Next.js para construir o painel de gerenciamento, com 92,8% de uso de TypeScript, e PostgreSQL para armazenamento persistente.
A Plataforma LiteLLM Agent é construída sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto é licenciado sob a licença MIT e está em fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 7
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
AirdropArchivist
· 2h atrás
agent-sandbox CRD esse design tem alguma coisa, o isolamento entre equipes finalmente não precisa mais reinventar a roda
Ver originalResponder0
GasFeesForNightRuns
· 2h atrás
Executar as duas comandos realmente é eficiente, mas o gargalo de desempenho na persistência da sessão não foi detalhado na documentação.
Ver originalResponder0
TheProphetOfToast
· 2h atrás
Gerenciamento de estado + recuperação após reinicialização, essa combinação, o serviço Agent de execução prolongada finalmente pode descansar
Ver originalResponder0
Lemon-FlavoredLiquidation
· 2h atrás
Uma orquestração de múltiplos agentes finalmente tem uma implementação de código aberto séria, antes era tudo projeto de brinquedo
Ver originalResponder0
Front-RunningArbitrage
· 2h atrás
Com a barreira do Kubernetes nesta área de auto-hospedagem, existe uma solução de fallback puramente com Docker Compose?
Ver originalResponder0
GateUser-991fc58a
· 2h atrás
Licença MIT é de boa fé, mas na fase Alpha, você se arriscaria a colocar em produção?
Ver originalResponder0
WatercolorGlassBottle
· 2h atrás
Finalmente, uma equipe conseguiu resolver a persistência do estado do Agent, o modo de inicialização com um clique é muito amigável para os desenvolvedores.
Ver originalResponder0
  • Fixado