BerriAI Plataforma de Agente LiteLLM de código aberto, suporta implantação de múltiplos Agentes de IA em ambientes de produção

AIMPACT mensagem, 17 de maio (UTC+8), BerriAI anunciou o código aberto da Plataforma LiteLLM Agent, uma plataforma de infraestrutura autogerenciada baseada em Kubernetes, projetada para executar múltiplos Agentes de IA em ambientes de produção, oferecendo isolamento de sandbox em nível de equipe e gerenciamento de sessões persistentes.
A plataforma implementa ambientes de sandbox independentes a nível de sessão através do CRD agent-sandbox do Kubernetes, resolvendo problemas centrais como gerenciamento de estado, persistência de sessões após reinicialização de containers e isolamento de ambientes entre equipes.
Para desenvolvimento local, utiliza-se kind (Kubernetes em Docker), enquanto para ambientes de produção recomenda-se AWS EKS.
No aspecto técnico, a plataforma usa Next.js para construir o painel de gerenciamento, com 92,8% de uso de TypeScript, e PostgreSQL para armazenamento persistente.
A Plataforma LiteLLM Agent é construída sobre o LiteLLM Gateway, que é responsável pelo roteamento de modelos, rastreamento de custos e limitação de taxa.
A inicialização local requer apenas dois comandos: bin/kind-up.sh para configurar o cluster kind, e docker compose up para iniciar os serviços.
Este projeto é licenciado sob a licença MIT e está em fase de pré-visualização Alpha pública.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 5
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
GateUser-e6dafce6
· 13h atrás
Plataforma de agentes de código aberto se acumula, a diferença do BerriAI nesta versão está na integração profunda com K8s
Ver originalResponder0
GateUser-f78f1f3e
· 13h atrás
Compartilhar clusters entre várias equipes mais temem a contaminação mútua, o isolamento em sandbox resolveu a emergência.
Ver originalResponder0
HotAirBalloonViewing
· 13h atrás
Auto-hospedagem + K8s nativo, maximiza a compatibilidade para empresas sensíveis a dados
Ver originalResponder0
BetaParanoiac
· 13h atrás
agent-sandbox CRD design é interessante, isolamento de granularidade fina é uma necessidade absoluta
Ver originalResponder0
RugCheckSkeptic
· 13h atrás
BerriAI esta rodada de código aberto, a infraestrutura de IA nativa da nuvem voltou a ficar competitiva
Ver originalResponder0
  • Fixado