BerriAI plateforme d'agents LiteLLM open source, prenant en charge le déploiement de plusieurs agents IA en environnement de production

robot
Création du résumé en cours
AIMPACT message, le 17 mai (UTC+8), BerriAI annonce l'ouverture du code de LiteLLM Agent Platform, une plateforme d'infrastructure auto-hébergée basée sur Kubernetes, conçue pour faire fonctionner plusieurs agents IA en environnement de production, offrant un isolement de sandbox au niveau de l'équipe et une gestion de session persistante.
La plateforme réalise un environnement sandbox indépendant au niveau de la session via le CRD agent-sandbox de Kubernetes, résolvant des problèmes clés tels que la gestion d'état, la persistance des sessions après le redémarrage des conteneurs et l'isolation des environnements entre équipes.
Le développement local utilise kind (Kubernetes en Docker), en production, AWS EKS est recommandé.
Côté stack technologique, la plateforme utilise Next.js pour le panneau de gestion, TypeScript représentant 92,8 %, PostgreSQL pour le stockage persistant.
LiteLLM Agent Platform est construite sur LiteLLM Gateway, qui gère le routage des modèles, le suivi des coûts et la limitation de débit.
Le démarrage local ne nécessite que deux commandes : bin/kind-up.sh pour configurer le cluster kind, docker compose up pour lancer les services.
Ce projet est sous licence MIT, en phase de prévisualisation alpha publique.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé