BerriAI Platform Agen LiteLLM Open Source, mendukung deployment Banyak Agen AI di lingkungan produksi

robot
Pembuatan abstrak sedang berlangsung
AIMPACT Pesan, 17 Mei (UTC+8), BerriAI mengumumkan open source LiteLLM Agent Platform, sebuah platform infrastruktur berbasis Kubernetes yang dikelola sendiri, dirancang untuk menjalankan beberapa Agen AI di lingkungan produksi, menyediakan isolasi sandbox tingkat tim dan manajemen sesi yang persisten. Platform ini mengimplementasikan lingkungan sandbox independen tingkat sesi melalui CRD agent-sandbox Kubernetes, menyelesaikan masalah inti seperti manajemen status, persistensi sesi setelah restart kontainer, dan isolasi lingkungan antar tim. Pengembangan lokal menggunakan kind (Kubernetes dalam Docker), sementara lingkungan produksi merekomendasikan AWS EKS. Dari segi tumpukan teknologi, platform menggunakan Next.js untuk membangun panel manajemen, dengan TypeScript sebesar 92,8%, dan PostgreSQL sebagai penyimpanan persisten. LiteLLM Agent Platform dibangun di atas LiteLLM Gateway, yang bertanggung jawab atas routing model, pelacakan biaya, dan pembatasan kecepatan. Untuk memulai secara lokal hanya diperlukan dua perintah: bin/kind-up.sh untuk mengonfigurasi klaster kind, dan docker compose up untuk menjalankan layanan. Proyek ini menggunakan lisensi MIT dan berada dalam tahap pratinjau publik Alpha.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan