Kỹ thuật viên của OpenAI phê bình đề xuất phần cứng V4: Một sự chuyển biến bất ngờ so với tác động của ngành của V3

Theo giám sát của Beating, kỹ thuật viên của OpenAI Clive Chan cho biết báo cáo kỹ thuật tổng thể V4 vẫn rất xuất sắc, nhưng các đề xuất phần cứng cho các nhà sản xuất chip lại “ngạc nhiên là trung bình và thậm chí sai lệch,” trái ngược rõ ràng với V3. Phần phần cứng của báo cáo V3 có một phần Hỏi & Đáp là cuộc thảo luận phổ biến nhất tại hội nghị học thuật ISCA, với các đề xuất phù hợp với các tiêu chuẩn ngành đang được phát triển cho các kết nối liên kết, trong khi V4 đã trở nên mơ hồ hơn nhiều. Chan nêu ra một số điểm tranh cãi. Về tiêu thụ năng lượng, báo cáo cho rằng tối ưu hóa phần mềm cho phép các chip chạy tính toán, lưu trữ và truyền thông đồng thời ở công suất tối đa, gợi ý rằng các nhà sản xuất chip nên dự trữ nhiều hơn không gian công suất. Chan lập luận rằng điều này là “ngược lại hiệu quả”: tổng tiêu thụ năng lượng của một chip bị giới hạn bởi các quá trình vật lý, và việc dự trữ nhiều hơn không gian công suất sẽ có nghĩa là giảm tần số hoạt động, từ đó giảm khả năng tính toán. Về truyền dữ liệu giữa các GPU, báo cáo đề xuất rằng GPU nên chủ động đọc dữ liệu (pull) thay vì bị đẩy dữ liệu đến, do chi phí cao của thông báo đẩy. Chan đặt câu hỏi về nhận định này, tin rằng pull thực sự chậm hơn và khả năng xử lý dữ liệu của các card mạng nên được cải thiện. Tuy nhiên, hai có thể không đang bàn về cùng một mức độ vấn đề: báo cáo đề cập đến chi phí của cơ chế thông báo, trong khi Chan quan tâm đến độ trễ của chính quá trình truyền dữ liệu. Về hàm kích hoạt, báo cáo đề xuất thay thế SwiGLU bằng các hàm đơn giản hơn để giảm gánh nặng tính toán, nhưng Chan cho rằng điều này là không cần thiết, vì Sonic MoE đã chứng minh rằng hiệu suất tối ưu có thể đạt được bằng cách sử dụng SwiGLU. Chan nghi ngờ rằng DeepSeek có thể đã “cố ý giảm nhẹ phần này.”