BerriAI Platform Agen LiteLLM Open Source, mendukung penempatan Banyak Agen AI di lingkungan produksi

AIMPACT Pesan, 17 Mei (UTC+8), BerriAI mengumumkan open source LiteLLM Agent Platform, sebuah platform infrastruktur berbasis Kubernetes yang dikelola sendiri, dirancang untuk menjalankan beberapa Agen AI di lingkungan produksi, menyediakan isolasi sandbox tingkat tim dan manajemen sesi yang persisten. Platform ini mengimplementasikan lingkungan sandbox independen tingkat sesi melalui CRD agent-sandbox Kubernetes, menyelesaikan masalah inti seperti manajemen status, persistensi sesi setelah restart kontainer, dan isolasi lingkungan antar tim. Pengembangan lokal menggunakan kind (Kubernetes dalam Docker), sementara lingkungan produksi merekomendasikan AWS EKS. Dari segi tumpukan teknologi, platform menggunakan Next.js untuk membangun panel manajemen, dengan TypeScript sebesar 92,8%, dan PostgreSQL sebagai penyimpanan persisten. LiteLLM Agent Platform dibangun di atas LiteLLM Gateway, yang bertanggung jawab atas routing model, pelacakan biaya, dan pembatasan kecepatan. Untuk menjalankan secara lokal hanya diperlukan dua perintah: bin/kind-up.sh untuk mengonfigurasi klaster kind, dan docker compose up untuk memulai layanan. Proyek ini menggunakan lisensi MIT dan berada dalam tahap pratinjau publik Alpha.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 5
  • 2
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
GateUser-e6dafce6
· 5jam yang lalu
Platform Agen terbuka sumber kode berkerumun, BerriAI versi ini berbeda dengan integrasi mendalam di K8s
Lihat AsliBalas0
GateUser-f78f1f3e
· 5jam yang lalu
Berbagi klaster antar tim paling takut saling mencemari, isolasi sandbox menyelesaikan masalah mendesak
Lihat AsliBalas0
HotAirBalloonViewing
· 5jam yang lalu
Self-hosting + K8s asli, sangat ramah untuk perusahaan yang sensitif terhadap data
Lihat AsliBalas0
BetaParanoiac
· 5jam yang lalu
agent-sandbox CRD desain cukup menarik, isolasi dengan granularitas halus adalah kebutuhan mendesak
Lihat AsliBalas0
RugCheckSkeptic
· 5jam yang lalu
BerriAI kali ini open source, infrastruktur AI berbasis cloud-native kembali kompetitif
Lihat AsliBalas0
  • Disematkan