GPU NVIDIA đạt 500 token/giây trong suy luận AI độ trễ thấp, đe dọa các chip chuyên dụng
Theo SemiAnalysis (ngày 10 tháng 8), công cụ phần mềm TileRT của NVIDIA đã đạt tốc độ 500 token/giây trên mỗi người dùng trong các bài kiểm thử suy luận AI độ trễ thấp, nhanh gấp khoảng 3 lần so với các công cụ suy luận GPU truyền thống. Đột phá này đến từ việc biên dịch toàn bộ đồ thị giải mã thành một kernel liên tục duy nhất, tối đa hóa sự chồng lấp giữa quá trình tính toán và các hoạt động bộ nhớ. Khi các phòng thí nghiệm AI hàng đầu, bao gồm OpenAI, đánh giá những hệ thống chuyên dụng như C
NVDA-1,02%
GateNews·08-11 11:49
