Chặn cổ chai bộ nhớ của suy luận trực tuyến cuối cùng đã được giải quyết, chiến lược lưu trữ gia tăng khiến tôi nghĩ đến git diff, dùng sự khác biệt về thông tin để đổi lấy không gian, thật thông minh.

Nghiên cứu đề xuất Δ-Mem, một hệ thống bộ nhớ trực tuyến dành cho mô hình ngôn ngữ lớn. Bằng cách chỉ lưu trữ và cập nhật các biến đổi gia tăng của hoạt động, từ bỏ trạng thái kích hoạt đầy đủ, giảm đáng kể mức tiêu thụ bộ nhớ. Thử nghiệm cho thấy lượng bộ nhớ sử dụng có thể giảm tới 70%, và chất lượng đầu ra gần như không bị ảnh hưởng, nâng cao khả năng suy luận trực tuyến và học liên tục trong các môi trường hạn chế tài nguyên.