BerriAI Plataforma de Agente LiteLLM de código aberto, suporta implantação de múltiplos Agentes de IA em ambiente de produção

robot
Geração de resumo em curso
AIMPACT mensagem, 17 de maio (UTC+8), a BerriAI anunciou a abertura do código do LiteLLM Agent Platform, uma plataforma de infraestrutura autogerida baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox a nível de equipa e gestão de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gestão de estado, persistência de sessões após reinício de containers e isolamento de ambientes entre equipas.
Para desenvolvimento local, utiliza-se o kind (Kubernetes in Docker), enquanto em produção recomenda-se o AWS EKS.
No que diz respeito à pilha tecnológica, a plataforma usa Next.js para construir o painel de gestão, com 92,8% de uso de TypeScript, e PostgreSQL para armazenamento persistente.
O LiteLLM Agent Platform é construído sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto está sob a licença MIT e encontra-se na fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado