BerriAI plateforme d'agents LiteLLM open source, prenant en charge le déploiement de plusieurs agents IA en environnement de production

AIMPACT message, le 17 mai (UTC+8), BerriAI annonce l'ouverture du code de LiteLLM Agent Platform, une plateforme d'infrastructure auto-hébergée basée sur Kubernetes, conçue pour faire fonctionner plusieurs agents IA en environnement de production, offrant un isolement de sandbox au niveau de l'équipe et une gestion de session persistante.
La plateforme réalise un environnement sandbox indépendant au niveau de la session via le CRD agent-sandbox de Kubernetes, résolvant les problèmes clés de gestion d'état, de persistance des sessions après le redémarrage des conteneurs et d'isolation des environnements entre équipes.
Le développement local utilise kind (Kubernetes dans Docker), en production, AWS EKS est recommandé.
Côté stack technologique, la plateforme utilise Next.js pour le panneau de gestion, TypeScript représente 92,8 %, PostgreSQL pour le stockage persistant.
LiteLLM Agent Platform est construite sur LiteLLM Gateway, qui gère le routage des modèles, le suivi des coûts et la limitation de débit.
Le démarrage local ne nécessite que deux commandes : bin/kind-up.sh pour configurer le cluster kind, docker compose up pour lancer les services.
Ce projet est sous licence MIT, en phase de prévisualisation alpha publique.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 5
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
GateUser-e6dafce6
· Il y a 8h
Les plateformes d'agents open source se multiplient, la différence de BerriAI réside dans une intégration approfondie avec K8s
Voir l'originalRépondre0
GateUser-f78f1f3e
· Il y a 8h
Les clusters partagés par plusieurs équipes craignent le plus la contamination mutuelle, l'isolation en sandbox a résolu l'urgence.
Voir l'originalRépondre0
HotAirBalloonViewing
· Il y a 8h
Autohébergement + K8s natif, optimise pour une entreprise sensible aux données
Voir l'originalRépondre0
BetaParanoiac
· Il y a 8h
La conception du CRD agent-sandbox est intéressante, l'isolation à granularité fine est une nécessité absolue
Voir l'originalRépondre0
RugCheckSkeptic
· Il y a 8h
BerriAI cette vague d'open source, l'infrastructure AI native cloud est de nouveau en pleine effervescence
Voir l'originalRépondre0
  • Épinglé