huyền thoại rằng python "quản lý bộ nhớ cho bạn" là lý do tại sao các agent của bạn bị OOM sau 4 giờ hoạt động


chạy 24 multi-agent song song vào tháng trước, tiêu thụ gấp 10 lần token của một phiên duy nhất mà không có đầu ra hữu ích nào
vấn đề thực sự không phải là token, mà là bộ nhớ mà không ai để ý
python sử dụng đếm tham chiếu cộng với bộ thu gom rác vòng lặp. nghe có vẻ ổn cho đến khi bạn tải mảng numpy qua các phần mở rộng C không giảm tham chiếu đúng cách. những đối tượng đó KHÔNG BAO GIỜ bị thu thập. chúng chỉ nằm đó, lớn dần, im lặng
mỗi 100 token của ngữ cảnh, agent chạy lâu của bạn xử lý, đó là một phân bổ tensor khác có thể không giải phóng. nhân với 24 phiên đồng thời và bạn đang rò rỉ 400MB/giờ trong ngày tốt nhất
> chỉ cần thêm RAM
đúng vậy, đó là 30.000 đô la/tháng cho tính toán để bù đắp cho điều mà tracemalloc đã bắt trong 10 phút.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
0/400
Không có bình luận
  • Ghim