ME News повідомлення, 24 квітня (UTC+8), за даними моніторингу Beating, технічний співробітник OpenAI Клайв Чан заявив, що технічний звіт V4 загалом залишається на найвищому рівні, але розділ із рекомендаціями щодо обладнання для виробників чіпів «несподівано посередній і навіть містить помилки», що контрастує з V3. Розділ із запитаннями та відповідями щодо обладнання у V3 був найпопулярнішою темою обговорення на академічній конференції ISCA, а рекомендації були конкретними, аж до стандартів взаємозв'язку, які розробляються в галузі, тоді як V4 став набагато загальнішим. Чан поставив під сумнів кожне положення. Щодо енергоспоживання, у звіті йдеться, що оптимізація програмного забезпечення дозволяє одночасно завантажувати обчислення, зберігання та зв'язок чіпа, і рекомендує виробникам чіпів залишати більше запасу потужності. Чан вважає, що «це дає зворотний ефект»: загальна потужність чіпа обмежена фізичним техпроцесом, і збільшення запасу потужності призведе до зниження робочої частоти, а отже, до зменшення обчислювальної потужності. Щодо способу передачі даних між GPU, у звіті зазначено, що обрано, щоб GPU активно зчитували дані (pull), а не дозволяли іншому відправляти (push), оскільки накладні витрати на повідомлення push занадто високі. Чан ставить під сумнів це судження, вважаючи, що pull, навпаки, повільніший, і слід покращити обробну здатність мережевої карти. Однак, можливо, вони обговорюють проблеми на різних рівнях: у звіті йдеться про накладні витрати механізму повідомлень, а Чан — про затримку самої передачі. Щодо функції активації, у звіті рекомендується замінити SwiGLU на простішу функцію для зменшення обчислювального навантаження, Чан вважає це непотрібним, оскільки Sonic MoE вже довів, що з SwiGLU можна досягти оптимальної продуктивності. Чан підозрює, що DeepSeek, можливо, «навмисно послабив цей розділ». (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
gStocksTokenizedStocksLive
1,06M Популярність
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,03M Популярність
#
IsraelStrikesIranBTCPlunges
67,83K Популярність
#
PredictWorldCupShare20000U
188,25K Популярність
#
ETHBreaks1700
120,76M Популярність

Закріплено

карта сайту

Технічні спеціалісти OpenAI по черзі ставлять під сумнів рекомендації щодо обладнання V4: розділ V3, який вразив галузь, цього разу «несподіваний»

Популярні теми

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закріплено