BerriAI Nền tảng Trình điều khiển LiteLLM Mã nguồn mở, hỗ trợ triển khai nhiều AI Agent trong môi trường sản xuất

robot
Đang tạo bản tóm tắt
AIMPACT Tin nhắn, ngày 17 tháng 5 (UTC+8), BerriAI công bố mã nguồn mở Nền tảng Trình điều khiển LiteLLM, đây là một nền tảng hạ tầng tự quản dựa trên Kubernetes, được thiết kế để chạy nhiều Trình điều khiển AI trong môi trường sản xuất, cung cấp cách ly sandbox cấp nhóm và quản lý phiên liên tục. Nền tảng này thực hiện môi trường sandbox độc lập theo phiên thông qua CRD agent-sandbox của Kubernetes, giải quyết các vấn đề cốt lõi như quản lý trạng thái, duy trì phiên sau khởi động lại container và cách ly môi trường giữa các nhóm. Phát triển cục bộ sử dụng kind (Kubernetes trong Docker), môi trường sản xuất đề xuất AWS EKS. Về công nghệ, nền tảng sử dụng Next.js để xây dựng bảng điều khiển quản lý, TypeScript chiếm 92.8%, PostgreSQL dùng để lưu trữ lâu dài. Nền tảng LiteLLM Agent được xây dựng dựa trên LiteLLM Gateway, Gateway chịu trách nhiệm định tuyến mô hình, theo dõi chi phí và giới hạn tốc độ. Khởi động cục bộ chỉ cần hai lệnh: bin/kind-up.sh để cấu hình cụm kind, docker compose up để khởi động dịch vụ. Dự án này sử dụng giấy phép MIT, đang trong giai đoạn xem trước công khai Alpha.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim