BerriAI plataforma de agentes LiteLLM de código aberto, suporta implantação de múltiplos agentes de IA em ambientes de produção

robot
Geração do resumo em andamento
AIMPACT mensagem, 17 de maio (UTC+8), BerriAI anunciou o código aberto da Plataforma LiteLLM Agent, uma plataforma de infraestrutura autogerenciada baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox em nível de equipe e gerenciamento de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gerenciamento de estado, persistência de sessões após reinicialização de containers e isolamento de ambientes entre equipes.
Para desenvolvimento local, utiliza-se kind (Kubernetes em Docker), enquanto para produção recomenda-se AWS EKS.
No aspecto técnico, a plataforma usa Next.js para construir o painel de gerenciamento, com 92,8% de uso de TypeScript, e PostgreSQL para armazenamento persistente.
A Plataforma LiteLLM Agent é construída sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto é licenciado sob a licença MIT e está em fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado