Vừa mới thấy một tin tức rất quan trọng về việc Nvidia đã mua lại. Công ty đã mua lại bộ phận xử lý suy luận của Groq với giá 20 tỷ đô la vào tháng 12 năm ngoái, và động thái này bắt đầu trở nên rõ ràng hơn bây giờ.

Huang Rensho, CEO của Nvidia, đã giải thích trong một cuộc phỏng vấn gần đây lý do thực sự đằng sau quyết định chiến lược này. Rõ ràng là vấn đề không chỉ đơn thuần là tăng năng suất thông thường, mà Nvidia đang nhắm tới một thị trường hoàn toàn mới: thị trường suy luận có độ trễ thấp và giá trị cao. Thị trường này gần đây bắt đầu xuất hiện khi người dùng bắt đầu trả giá khác nhau tùy theo tốc độ phản hồi.

Ý tưởng đơn giản nhưng mạnh mẽ: nếu tôi có thể cung cấp token với độ trễ thấp hơn cho các lập trình viên, nghĩa là họ có thể làm việc hiệu quả hơn, thì họ sẽ sẵn sàng trả giá cao hơn. Huang mô tả vấn đề này như một mở rộng giới hạn biên của thị trường - nghĩa là thêm một lĩnh vực hoàn toàn mới thay vì chỉ tập trung vào năng suất cao.

Sản phẩm đầu tiên sau khi mua lại xuất hiện vào tháng 3: Groq 3 LPU, được chế tạo bằng công nghệ 4 nanomet của Samsung. Các con số rất ấn tượng: năng suất suy luận trên mỗi megawatt cho các mô hình có tỷ lệ nhân tử nghìn tỷ đạt tới 35 lần so với Blackwell NVL72. Kiến trúc của Groq nổi tiếng với độ trễ thấp dự kiến, và chính xác đây là điều thiếu trong dòng sản phẩm của Nvidia.

Vấn đề này rất thông minh: cùng một mô hình, nhưng với các mức giá khác nhau tùy theo thời gian phản hồi. Ngay cả khi năng suất thấp hơn, mức giá cao hơn sẽ bù đắp cho điều đó. Groq đã lấp đầy khoảng trống tồn tại trong chiến lược của Nvidia, và rõ ràng là thị trường bắt đầu phân chia thành các phân khúc khác nhau.