Teknisi OpenAI mempertanyakan satu per satu saran perangkat keras V4: bab V3 yang memukau industri kali ini "mengejutkan".

robot
Pembuatan abstrak sedang berlangsung
ME News berita, 24 April (UTC+8), menurut pemantauan Beating dari Dongcha, teknisi OpenAI Clive Chan mengatakan bahwa laporan teknis V4 secara keseluruhan masih berada di level teratas, tetapi bab saran perangkat keras untuk produsen chip "secara mengejutkan biasa-biasa saja bahkan memiliki kesalahan", kontras dengan V3. Bab perangkat keras V3 bagian Q&A dulunya adalah sesi diskusi paling populer di konferensi akademis ISCA, dengan saran yang sangat spesifik hingga standar interkoneksi yang sedang disusun industri, sedangkan V4 jauh lebih umum. Chan mengajukan keberatan poin demi poin. Tentang konsumsi daya, laporan menyatakan bahwa optimasi perangkat lunak membuat komputasi, penyimpanan, dan komunikasi chip berjalan pada kapasitas penuh secara bersamaan, menyarankan produsen chip untuk menyisihkan lebih banyak ruang daya. Chan berpendapat "justru sebaliknya": total konsumsi daya chip dibatasi oleh proses fisik, menyisakan lebih banyak margin daya berarti menurunkan frekuensi operasi, sehingga daya komputasi justru berkurang. Tentang metode transmisi data antar GPU, laporan menyebutkan memilih agar GPU secara aktif membaca data (pull), bukan meminta pihak lain mengirimkan (push), karena overhead notifikasi push terlalu tinggi. Chan mempertanyakan penilaian ini, menganggap pull justru lebih lambat, dan seharusnya meningkatkan kemampuan pemrosesan data kartu jaringan. Namun, kemungkinan keduanya membahas masalah di level yang berbeda: laporan berbicara tentang overhead mekanisme notifikasi, Chan berbicara tentang latensi transmisi itu sendiri. Tentang fungsi aktivasi, laporan menyarankan mengganti SwiGLU dengan fungsi yang lebih sederhana untuk mengurangi beban komputasi, Chan menganggap tidak perlu karena Sonic MoE telah membuktikan bahwa menggunakan SwiGLU tetap bisa mencapai kinerja optimal. Chan curiga DeepSeek mungkin "sengaja melemahkan bab ini". (Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan