Tether AI công bố sẽ tích hợp mã nguồn mở TurboQuant trong SDK QVAC 0.12.0. TurboQuant ban đầu được đề xuất bởi Google Research, có thể nén bộ nhớ KV Cache cần thiết trong quá trình chạy mô hình lớn lên đến 5 lần, từ đó hỗ trợ ngữ cảnh dài hơn, tài liệu lớn hơn và cuộc trò chuyện lâu hơn chạy trên thiết bị cục bộ. Tether cho biết công nghệ này sẽ phù hợp với máy tính xách tay, điện thoại di động, thiết bị biên và mạng AI phi tập trung, và là một phần trong chiến lược thúc đẩy AI địa phương và phi tập trung của họ.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim