Hệ sinh thái AMD cuối cùng đã có mô hình ngôn ngữ mở rộng có thể cạnh tranh, bước đi của TiDAR đã tiết kiệm bao nhiêu chi phí tính toán

Zyphra phát hành ZAYA1-8B-Diffusion-Preview, chuyển đổi mô hình ngôn ngữ lớn tự hồi quy thành mô hình khuếch tán chuyên gia hỗn hợp, trở thành mô hình ngôn ngữ khuếch tán đầu tiên được huấn luyện trong hệ sinh thái phần cứng AMD. Thông qua TiDAR bỏ qua việc huấn luyện từ đầu, có thể loại bỏ nhiễu cùng lúc cho 16 token trong một lần truyền, biến giới hạn bộ nhớ GPU thành giới hạn sức mạnh tính toán. Thử nghiệm thực tế cho thấy tốc độ tăng 4.6 lần với chú ý CCA + lấy mẫu không mất mát, sau khi chuyển sang bộ lấy mẫu logit hỗn hợp, tăng lên 7.7 lần.