BerriAI Nền tảng Trợ lý LiteLLM mã nguồn mở, hỗ trợ triển khai nhiều Trợ lý AI trong môi trường sản xuất

AIMPACT Tin nhắn, ngày 17 tháng 5 (UTC+8), BerriAI công bố mã nguồn mở Nền tảng Trình điều khiển LiteLLM, đây là một nền tảng hạ tầng tự quản dựa trên Kubernetes, được thiết kế để chạy nhiều Trình điều khiển AI trong môi trường sản xuất, cung cấp cách ly sandbox cấp nhóm và quản lý phiên liên tục. Nền tảng này thực hiện môi trường sandbox độc lập theo phiên thông qua CRD agent-sandbox của Kubernetes, giải quyết các vấn đề cốt lõi như quản lý trạng thái, duy trì phiên sau khởi động lại container và cách ly môi trường giữa các nhóm. Phát triển cục bộ sử dụng kind (Kubernetes trong Docker), môi trường sản xuất đề xuất AWS EKS. Về công nghệ, nền tảng sử dụng Next.js để xây dựng bảng điều khiển quản lý, TypeScript chiếm 92.8%, PostgreSQL dùng để lưu trữ lâu dài. Nền tảng LiteLLM Agent được xây dựng dựa trên LiteLLM Gateway, Gateway chịu trách nhiệm định tuyến mô hình, theo dõi chi phí và giới hạn tốc độ. Khởi động cục bộ chỉ cần hai lệnh: bin/kind-up.sh để cấu hình cụm kind, docker compose up để khởi động dịch vụ. Dự án này sử dụng giấy phép MIT, đang trong giai đoạn xem trước công khai Alpha.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 5
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
GateUser-e6dafce6
· 8giờ trước
Nền tảng Agent mã nguồn mở tập trung, điểm khác biệt của BerriAI này là tích hợp sâu vào K8s
Xem bản gốcTrả lời0
GateUser-f78f1f3e
· 8giờ trước
Nhóm nhiều đội chia sẻ cụm máy chủ nhất sợ bị ô nhiễm lẫn nhau, cách ly sandbox đã giải quyết khẩn cấp.
Xem bản gốcTrả lời0
HotAirBalloonViewing
· 8giờ trước
Tự quản lý + Kubernetes nguyên bản, tối đa hóa sự thân thiện với các doanh nghiệp nhạy cảm dữ liệu
Xem bản gốcTrả lời0
BetaParanoiac
· 8giờ trước
thiết kế CRD agent-sandbox khá thú vị, cô lập phân mảnh là nhu cầu thiết yếu
Xem bản gốcTrả lời0
RugCheckSkeptic
· 8giờ trước
BerriAI lần này mở mã nguồn, hạ tầng AI dựa trên đám mây lại trở nên sôi động rồi
Xem bản gốcTrả lời0
  • Đã ghim