Vì vậy, có một số tin tức thú vị về groq đang lan truyền liên quan đến bước đi chiến lược của NVIDIA trong lĩnh vực suy luận. Hóa ra Jensen Huang vừa phân tích rõ suy nghĩ đằng sau việc họ theo đuổi Groq ngay từ đầu.

Tháng Mười Hai năm ngoái, NVIDIA đã bỏ ra $20 tỷ đô la để mua lại mảng chip suy luận của Groq. Người sáng lập Jonathan Ross và đội ngũ cốt lõi của ông đã chuyển sang NVIDIA, nhưng điều quan trọng là—Groq vẫn hoạt động độc lập. Sau đó tại GTC tháng Ba vừa qua, họ đã giới thiệu chip Groq 3 LPU được xây dựng trên quy trình 4nm của Samsung. Các số liệu hiệu suất thật sự ấn tượng: gấp 35 lần khả năng xử lý suy luận trên mỗi megawatt đối với các mô hình trillion-parameter so với Blackwell NVL72 của NVIDIA.

Nhưng điều thực sự thu hút sự chú ý của tôi là lời giải thích của Huang về các động lực thị trường đang thúc đẩy điều này. Ông nói về cách thị trường suy luận đang phân chia thành các phân khúc khác nhau. Trong nhiều năm, mọi người tập trung vào một điều: tối đa hóa thông lượng. Nhưng điều đó đang thay đổi. Kinh tế token đã thay đổi đáng kể. Các người dùng khác nhau giờ đây đánh giá các tốc độ phản hồi khác nhau theo cách khác nhau, và họ sẵn sàng trả giá phù hợp.

Huang đã diễn đạt rất rõ ràng: nếu bạn có thể cung cấp cho các nhà phát triển các token phản hồi nhanh hơn giúp họ tăng năng suất, họ sẽ trả giá cao cho khả năng đó. Đây là một thị trường tương đối mới chỉ mới nổi lên gần đây. Nó về cơ bản mở rộng biên giới Pareto—thêm một phân khúc có độ trễ thấp, giá cao hơn cho mỗi token bên cạnh các giải pháp có thông lượng cao hiện tại.

Đây chính là nơi kiến trúc LPU của Groq xuất hiện. Nó được xây dựng để đảm bảo độ trễ thấp mang tính xác định, gần như trái ngược hoàn toàn với những gì GPU tối ưu hóa. GPU vượt trội về thông lượng. Vì vậy, việc mua lại Groq về cơ bản lấp đầy một khoảng trống trong chiến lược sản phẩm của NVIDIA. Bạn có thể chạy cùng một mô hình theo hai cách khác nhau: tối đa hóa thông lượng trên GPU, hoặc đạt độ trễ cực thấp trên LPU của Groq. Các mô hình định giá khác nhau cho các trường hợp sử dụng khác nhau.

Tin tức về Groq ở đây thực sự làm nổi bật cách thị trường suy luận AI đang trưởng thành vượt ra ngoài chỉ về khả năng tính toán thô. Đó là về việc hiểu rõ nhu cầu thực sự của các khách hàng khác nhau và xây dựng công cụ phù hợp cho từng phân khúc. Một bước đi khá thông minh nếu bạn hỏi tôi.