xAI sở hữu 500.000 GPU nhưng tỷ lệ sử dụng chỉ 11%

Tin tức từ CoinWorld, xAI của Elon Musk sở hữu khoảng 500.000 GPU của Nvidia, trong dữ liệu công khai thuộc một trong những cụm máy chủ AI lớn nhất.
Nhưng theo ghi chú nội bộ, MFU (tỷ lệ sử dụng FLOPS mô hình, đo lường tỷ lệ công suất tính toán thực tế của chip so với đỉnh cao lý thuyết) của xAI trong vài tuần gần đây chỉ khoảng 11%.
Một nhà nghiên cứu tại phòng thí nghiệm đối thủ cho biết, hầu hết các công ty khó vượt qua 40%, nhưng 11% là “thấp đến mức phi lý”.
Tỷ lệ sử dụng thấp là vấn đề chung của ngành, đào tạo AI là theo kiểu gián đoạn: GPU hoạt động hết công suất trong quá trình đào tạo, nhưng khi nhà nghiên cứu phân tích kết quả và quyết định bước tiếp theo, chip lại rảnh rỗi.
Cũng có hạn chế về phần cứng: tốc độ bộ nhớ băng thông cao (HBM) không theo kịp chip tính toán, khi truyền dữ liệu giữa hàng nghìn GPU, bất kỳ điểm yếu nào trong mạng đều có thể làm chậm toàn bộ cụm.
Trong ngành còn có hiện tượng “đẩy dữ liệu”, một nhà nghiên cứu tại phòng thí nghiệm lớn tiết lộ, đồng nghiệp sẽ lặp lại nhiều lần các thử nghiệm huấn luyện để nâng cao số liệu sử dụng, một mặt để tránh bị cấp trên phê bình, mặt khác để ngăn GPU rảnh rỗi bị chuyển sang nhóm khác.