Tether AI công bố sẽ tích hợp mã nguồn mở TurboQuant trong SDK QVAC 0.12.0.


TurboQuant ban đầu được đề xuất bởi Google Research, có thể nén bộ nhớ KV Cache cần thiết trong quá trình chạy mô hình lớn lên tới 5 lần, từ đó hỗ trợ ngữ cảnh dài hơn, tài liệu lớn hơn và cuộc trò chuyện lâu hơn chạy trên thiết bị cục bộ.
Tether cho biết công nghệ này sẽ phù hợp với laptop, điện thoại, thiết bị biên và mạng AI phi tập trung, và là một phần trong chiến lược thúc đẩy AI địa phương và phi tập trung của họ.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 13
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
ReflectionsOnTheStreetCorner
· 3giờ trước
Nếu có thể giữ độ chính xác khi nén gấp 5 lần, thì lộ trình công nghệ này dự kiến sẽ sớm được các framework chính thống theo kịp
Xem bản gốcTrả lời0
LeverageLatte
· 3giờ trước
Cuộc trò chuyện dài trên điện thoại cuối cùng không cần truyền dữ liệu nhạy cảm qua đám mây nữa, các người ủng hộ quyền riêng tư vui mừng
Xem bản gốcTrả lời0
MirrorBallReflection
· 3giờ trước
Nén 5 lần có nghĩa là cả chiếc laptop cũ của tôi cũng có thể chạy mô hình 7B cục bộ rồi phải không? Mong chờ QVAC 0.12.0
Xem bản gốcTrả lời0
GateUser-a9315d81
· 3giờ trước
Bộ nhớ đệm KV nén gấp 5 lần, độ trễ suy luận sẽ tăng bao nhiêu? Có benchmark không
Xem bản gốcTrả lời0
GateUser-6857a9c9
· 3giờ trước
Mạng AI phi tập trung cần chính là loại tối ưu hóa biên này, giảm tải cả băng thông và lưu trữ cùng lúc
Xem bản gốcTrả lời0
GateUser-665eb149
· 3giờ trước
Nền tảng của Google Research + việc ứng dụng Tether, sự kết hợp này khá thú vị
Xem bản gốcTrả lời0
ContrarianIndicatorBonsai
· 3giờ trước
Cuối cùng cũng có thể chạy ngữ cảnh dài trên điện thoại, tỷ lệ nén của TurboQuant thực sự rất tốt
Xem bản gốcTrả lời0
PerpetualKing
· 4giờ trước
Chỉ cần xông lên thôi 👊
Xem bản gốcTrả lời0
PerpetualKing
· 4giờ trước
Chỉ cần xông lên thôi 👊
Xem bản gốcTrả lời0
PerpetualKing
· 4giờ trước
Chỉ cần xông lên là xong 👊
Xem bản gốcTrả lời0
Xem thêm
  • Đã ghim