Các kỹ thuật viên của OpenAI từng nghi ngờ về đề xuất phần cứng V4: Chương gây ấn tượng toàn ngành của V3 lần này "gây bất ngờ"

robot
Đang tạo bản tóm tắt
ME News tin tức, ngày 24 tháng 4 (UTC+8), theo giám sát của Beating, kỹ thuật viên OpenAI Clive Chan cho biết, báo cáo kỹ thuật V4 nhìn chung vẫn ở trình độ đỉnh cao, nhưng chương đề xuất phần cứng dành cho các nhà sản xuất chip "tầm thường một cách bất ngờ và thậm chí có sai sót", tạo ra sự tương phản với V3. Phần Hỏi & Đáp của chương phần cứng V3 từng là phần thảo luận sôi nổi nhất tại hội nghị học thuật ISCA, nội dung đề xuất cụ thể đến mức các tiêu chuẩn kết nối liên ngành đang được ngành xây dựng, trong khi V4 lại trở nên sơ sài hơn nhiều. Chan lần lượt đưa ra nghi vấn. Về mức tiêu thụ điện năng, báo cáo cho rằng tối ưu hóa phần mềm khiến tính toán, lưu trữ và truyền thông của chip chạy đồng thời ở mức đầy tải, đề xuất các nhà sản xuất chip dự trữ thêm không gian điện năng. Chan cho rằng "điều này hoàn toàn phản tác dụng": tổng mức tiêu thụ điện năng của chip bị giới hạn bởi quy trình vật lý, dự trữ thêm dư lượng điện năng có nghĩa là giảm tần số hoạt động, dẫn đến sức mạnh tính toán giảm. Về phương thức truyền dữ liệu giữa các GPU, báo cáo cho rằng chọn để GPU chủ động đọc dữ liệu (pull), thay vì để bên kia đẩy (push), vì chi phí thông báo của push quá cao. Chan nghi ngờ nhận định này, cho rằng pull thậm chí còn chậm hơn, nên cải thiện khả năng xử lý dữ liệu của card mạng. Tuy nhiên, hai người có thể đang thảo luận về các vấn đề ở cấp độ khác nhau: báo cáo nói về chi phí của cơ chế thông báo, còn Chan nói về độ trễ của quá trình truyền tải. Về hàm kích hoạt, báo cáo đề xuất thay thế SwiGLU bằng hàm đơn giản hơn để giảm gánh nặng tính toán, Chan cho rằng không cần thiết, vì Sonic MoE đã chứng minh rằng vẫn có thể đạt hiệu suất tối ưu khi sử dụng SwiGLU. Chan nghi ngờ DeepSeek có thể "cố tình làm yếu đi chương này". (Nguồn: BlockBeats)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim