Tại sao nhu cầu SRAM đột ngột bùng nổ? Chỉ cần nhìn vào làn sóng hoạt động này.

Cách đây không lâu, ngay sau khi một nhà sản xuất chip AI hàng đầu công khai giữ vị trí trong một gã khổng lồ công nghệ, họ đã quay lại và tuyên bố mua lại một công ty đổi mới chip. May mắn này vẫn là sức mạnh, và bạn sẽ biết câu trả lời sau khi nhìn kỹ hơn.

Sức mạnh cốt lõi của công ty này là gì? Không giống như GPU truyền thống dựa vào bộ nhớ băng thông cao bên ngoài (HBM), bộ xử lý LPU của chúng áp dụng ý tưởng thiết kế bộ nhớ truy cập ngẫu nhiên tĩnh dung lượng cao tích hợp trên chip (SRAM). 230MB SRAM trên chip này có thể cung cấp băng thông bộ nhớ lên đến 80TB / giây - khái niệm của con số này là gì? Tốc độ xử lý dữ liệu trực tiếp nghiền nát các giải pháp GPU truyền thống.

Nó thực sự hoạt động như thế nào? Dịch vụ đám mây của họ được biết đến với tốc độ suy luận đáng kinh ngạc. Khi chạy các mô hình lớn mã nguồn mở như Mixtral và Llama 2, nó có thể xuất ra khoảng 500 mã thông báo mỗi giây, đây không phải là một thứ tự lớn so với tốc độ phản hồi của các dịch vụ truyền thống. Giá cả cũng cạnh tranh và chi phí cho mỗi triệu token khá tiết kiệm chi phí.

Tại sao điều này lại quan trọng như vậy bây giờ? Bởi vì một sự thay đổi quan trọng đang diễn ra trong toàn bộ lĩnh vực AI - nhu cầu suy luận sắp vượt quá hoàn toàn nhu cầu đào tạo. Trong thời đại này, việc cung cấp cơ sở hạ tầng suy luận hiệu quả, chi phí thấp và thực sự có thể mở rộng thông qua kiến trúc sáng tạo của LPU là điều thị trường thực sự thiếu. Người đứng đầu một công ty chip đã nói rõ rằng ông có kế hoạch tích hợp bộ xử lý có độ trễ thấp này vào kiến trúc nhà máy AI của riêng mình, với mục tiêu phục vụ nhiều loại suy luận AI và khối lượng công việc thời gian thực hơn.