Lighthouse Attention ý tưởng này khá tinh tế, trước lọc sơ bộ rồi tinh chỉnh, cắt đoạn văn dài thành đoạn ngắn cho vào FlashAttention, trên một card B200 có thể đạt tốc độ gấp 17 lần với 512K, cuối quá trình huấn luyện mới chuyển về toàn bộ chú ý để tránh đọc nhảy, mô hình 5.3B chạy vẫn giữ hiệu năng, cuối cùng cũng không cần phải cố chấp tối ưu kernel nền nữa.

Xem bản gốc
Nội dung gốc không còn hiển thị nữa
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim