Teknisi OpenAI Mengkritik Rekomendasi Perangkat Keras V4: Perubahan Mengejutkan dari Dampak Industri V3

Menurut pemantauan oleh Beating, teknisi OpenAI Clive Chan menyatakan bahwa laporan teknis V4 secara keseluruhan tetap sangat baik, tetapi rekomendasi perangkat keras untuk produsen chip adalah “mengejutkan biasa saja dan bahkan salah,” sangat berbeda dengan V3. Bagian perangkat keras dari laporan V3 menampilkan sesi Tanya Jawab yang menjadi diskusi paling populer di konferensi akademik ISCA, dengan rekomendasi yang spesifik untuk standar industri yang sedang dikembangkan untuk interkoneksi, sedangkan V4 menjadi jauh lebih samar. Chan mengemukakan beberapa poin yang diperdebatkan. Mengenai konsumsi daya, laporan menyatakan bahwa optimisasi perangkat lunak memungkinkan chip menjalankan komputasi, penyimpanan, dan komunikasi secara bersamaan dengan kapasitas penuh, menunjukkan bahwa produsen chip harus menyisihkan lebih banyak ruang daya. Chan berpendapat bahwa ini adalah “bertentangan”: total konsumsi daya sebuah chip dibatasi oleh proses fisik, dan menyisihkan lebih banyak ruang daya berarti menurunkan frekuensi operasi, sehingga mengurangi kekuatan komputasi. Mengenai transmisi data antar GPU, laporan menyarankan bahwa GPU harus secara aktif membaca data (tarik) daripada didorong ke mereka, karena overhead tinggi dari notifikasi dorong. Chan mempertanyakan penilaian ini, percaya bahwa tarik sebenarnya lebih lambat dan kemampuan pemrosesan data dari kartu jaringan harus ditingkatkan. Namun, kedua hal ini mungkin tidak membahas tingkat masalah yang sama: laporan membahas overhead dari mekanisme notifikasi, sementara Chan khawatir dengan latensi transmisi itu sendiri. Mengenai fungsi aktivasi, laporan merekomendasikan mengganti SwiGLU dengan fungsi yang lebih sederhana untuk mengurangi beban komputasi, tetapi Chan percaya ini tidak perlu, karena Sonic MoE telah menunjukkan bahwa kinerja optimal dapat dicapai menggunakan SwiGLU. Chan mencurigai bahwa DeepSeek mungkin telah “dengan sengaja meremehkan bagian ini.”