Tencent Hunduan đề xuất thuật toán chú ý thưa Stem, giảm độ trễ ký tự đầu tiên 3,6 lần

Tin tức của Mars Finance ngày 5 tháng 6, Tencent Huyền Nguyên công bố đề xuất thuật toán chú ý thưa Stem, đã được ghi nhận tại hội nghị hàng đầu về máy học ICML-26. Dựa trên giải pháp tăng tốc toàn bộ lớp của thuật toán Stem × HPC, ở cấp độ thuật toán, Stem thông qua giảm trọng số vị trí Token (TPD) và đo lường cảm nhận đầu ra (OAM) đạt gần như không mất mát chính xác trong phạm vi ngân sách 25%; ở cấp độ bộ xử lý, bộ xử lý Stem+BSA mã nguồn mở của HPC biến lợi ích thưa thành tăng tốc phần cứng thực sự, giảm độ trễ của từ khóa đầu tiên trong bối cảnh 128K xuống 3.7 lần. (Quan sát toàn cảnh)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim