BerriAI plataforma de agentes LiteLLM de código abierto, compatible con despliegue de múltiples agentes de IA en entornos de producción

robot
Generación de resúmenes en curso
AIMPACT Noticias, 17 de mayo (UTC+8), BerriAI anuncia la apertura del código de LiteLLM Agent Platform, una plataforma de infraestructura autohospedada basada en Kubernetes, diseñada para ejecutar múltiples Agentes de IA en entornos de producción, ofreciendo aislamiento de sandbox a nivel de equipo y gestión de sesiones persistentes. La plataforma implementa entornos sandbox independientes a nivel de sesión mediante el CRD agent-sandbox de Kubernetes, resolviendo problemas clave como la gestión de estado, la persistencia de sesiones tras reinicios de contenedores y el aislamiento de entornos entre equipos. Para desarrollo local se utiliza kind (Kubernetes en Docker), y en producción se recomienda AWS EKS. En cuanto a la pila tecnológica, la plataforma utiliza Next.js para construir el panel de gestión, con un 92.8% de TypeScript, y PostgreSQL para almacenamiento persistente. LiteLLM Agent Platform se construye sobre LiteLLM Gateway, que se encarga del enrutamiento de modelos, seguimiento de costos y limitación de velocidad. Para iniciarlo localmente, solo se necesitan dos comandos: bin/kind-up.sh para configurar el clúster kind, y docker compose up para iniciar los servicios. El proyecto está bajo la licencia MIT y en fase de vista previa pública Alpha.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado