AIMPACT Pesan, 17 Mei (UTC+8), BerriAI mengumumkan open source LiteLLM Agent Platform, sebuah platform infrastruktur berbasis Kubernetes yang dikelola sendiri, dirancang untuk menjalankan beberapa Agen AI di lingkungan produksi, menyediakan isolasi sandbox tingkat tim dan manajemen sesi yang persisten. Platform ini mengimplementasikan lingkungan sandbox independen tingkat sesi melalui CRD agent-sandbox Kubernetes, menyelesaikan masalah inti seperti manajemen status, persistensi sesi setelah restart kontainer, dan isolasi lingkungan antar tim. Pengembangan lokal menggunakan kind (Kubernetes dalam Docker), sementara lingkungan produksi merekomendasikan AWS EKS. Dari segi tumpukan teknologi, platform menggunakan Next.js untuk membangun panel manajemen, dengan TypeScript menyumbang 92,8%, dan PostgreSQL sebagai penyimpanan persisten. LiteLLM Agent Platform dibangun di atas LiteLLM Gateway, yang bertanggung jawab atas routing model, pelacakan biaya, dan pembatasan kecepatan. Untuk menjalankan secara lokal hanya diperlukan dua perintah: bin/kind-up.sh untuk mengonfigurasi klaster kind, dan docker compose up untuk memulai layanan. Proyek ini menggunakan lisensi MIT dan berada dalam tahap pratinjau publik Alpha.

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.

10 Suka

Hadiah
10
7
Posting ulang
Bagikan

Komentar

Tambahkan komentar

AirdropArchivist

· 2jam yang lalu

agent-sandbox CRD ini memiliki nilai tersendiri, isolasi lintas tim akhirnya tidak perlu membuat roda sendiri lagi

Lihat AsliBalas0

GasFeesForNightRuns

· 2jam yang lalu

Dua perintah berjalan memang menyenangkan, tetapi bottleneck kinerja untuk persistensi sesi tidak dijelaskan secara rinci dalam dokumen.

Lihat AsliBalas0

TheProphetOfToast

· 2jam yang lalu

Manajemen status + kombinasi restart dan pemulihan, layanan Agent yang berjalan dalam jangka panjang akhirnya bisa tidur.

Lihat AsliBalas0

Lemon-FlavoredLiquidation

· 2jam yang lalu

Akhirnya ada implementasi open-source yang serius untuk Orkestrasi Agen, sebelumnya semuanya hanya proyek main-main

Lihat AsliBalas0

Front-RunningArbitrage

· 2jam yang lalu

Dalam hal pengelolaan sendiri ini, ambang batas Kubernetes ada di sini, apakah ada solusi penurunan tingkat yang murni menggunakan Docker Compose

Lihat AsliBalas0

GateUser-991fc58a

· 2jam yang lalu

Lisensi MIT adalah hati nurani, tapi apakah tahap Alpha berani digunakan di produksi?

Lihat AsliBalas0

WatercolorGlassBottle

· 2jam yang lalu

Akhirnya ada tim yang berhasil menyelesaikan bagian penyimpanan status Agent, dan satu klik start dari kind sangat ramah bagi pengembang.

Lihat AsliBalas0

Topik Trending
Lihat Lebih Banyak
#
ShareYourUSStocksWinNvidia
3.28M Popularitas
#
GatePartnersWithAlpacaToBridgeCryptoAndStocks
1.86M Popularitas
#
IsraelStrikesIranBTCPlunges
52.62K Popularitas
#
BTC触底66000
65.11K Popularitas
#
ZECRalliesAgainstMarket
5.02M Popularitas

Disematkan

peta situs

BerriAI Platform Agen LiteLLM Open Source, mendukung deployment Banyak Agen AI di lingkungan produksi

Topik Trending

ShareYourUSStocksWinNvidia

GatePartnersWithAlpacaToBridgeCryptoAndStocks

IsraelStrikesIranBTCPlunges

BTC触底66000

ZECRalliesAgainstMarket

Disematkan