BerriAI Plataforma de Agente LiteLLM de código aberto, suporta implantação de múltiplos Agentes de IA em ambiente de produção

AIMPACT mensagem, 17 de maio (UTC+8), a BerriAI anunciou a abertura do código do LiteLLM Agent Platform, uma plataforma de infraestrutura autogerida baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox a nível de equipa e gestão de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gestão de estado, persistência de sessões após reinício de containers e isolamento de ambientes entre equipas.
Para desenvolvimento local, utiliza-se o kind (Kubernetes in Docker), enquanto em produção recomenda-se o AWS EKS.
No que diz respeito à pilha tecnológica, a plataforma usa Next.js para construir o painel de gestão, com uma proporção de 92,8% de TypeScript, e PostgreSQL para armazenamento persistente.
O LiteLLM Agent Platform é construído sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto está sob a licença MIT e encontra-se na fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 5
  • 2
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
GateUser-e6dafce6
· 6h atrás
Plataforma de agentes de código aberto em destaque, a diferença do BerriAI nesta versão está na integração profunda com K8s
Ver originalResponder0
GateUser-f78f1f3e
· 7h atrás
Partilhar clusters entre várias equipas temem-se principalmente a contaminação mútua, e o isolamento em sandbox resolveu esta emergência.
Ver originalResponder0
HotAirBalloonViewing
· 7h atrás
Auto-hospedagem + K8s nativo, maximiza a compatibilidade para empresas sensíveis a dados
Ver originalResponder0
BetaParanoiac
· 7h atrás
agent-sandbox CRD design é bastante interessante, isolamento de granulação fina é uma necessidade absoluta
Ver originalResponder0
RugCheckSkeptic
· 7h atrás
BerriAI desta vez ao código aberto, a infraestrutura de IA nativa na nuvem voltou a ficar competitiva
Ver originalResponder0
  • Fixado