ME News сообщает, 24 апреля (UTC+8), по данным мониторинга Beating, технический специалист OpenAI Клайв Чан заявил, что в целом технический отчет V4 остается на высшем уровне, но глава с рекомендациями для производителей чипов «на удивление посредственна и даже содержит ошибки», что контрастирует с V3. Раздел Q&A в главе об аппаратном обеспечении V3 был самым популярным обсуждением на академической конференции ISCA, рекомендации были конкретными и касались разрабатываемых отраслевых стандартов взаимосвязи, тогда как V4 стал гораздо более расплывчатым. Чан высказал ряд возражений. По поводу энергопотребления: в отчете говорится, что программная оптимизация позволяет загрузить вычисления, память и связь одновременно, и предлагается производителям чипов оставить больший запас по мощности. Чан считает, что это «как раз обратное»: общее энергопотребление чипа ограничено физическим процессом, больше запаса по мощности означает снижение рабочей частоты, что уменьшает вычислительную мощность. По поводу способа передачи данных между GPU: в отчете предлагается, чтобы GPU активно считывали данные (pull), а не получали их по push, поскольку издержки уведомления при push слишком велики. Чан сомневается в этом решении, считая, что pull, наоборот, медленнее, и следует улучшить обработку данных в сетевых картах. Однако, возможно, они обсуждают разные уровни: в отчете речь идет об издержках механизма уведомления, а Чан говорит о задержке самой передачи. По поводу функции активации: отчет рекомендует заменить SwiGLU более простой функцией для снижения вычислительной нагрузки. Чан считает это ненужным, поскольку Sonic MoE уже доказал, что с SwiGLU можно достичь оптимальной производительности. Чан подозревает, что DeepSeek, возможно, «намеренно ослабил эту главу». (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
gStocksTokenizedStocksLive
1,08M Популярность
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,03M Популярность
#
IsraelStrikesIranBTCPlunges
67,83K Популярность
#
PredictWorldCupShare20000U
190,29K Популярность
#
ETHBreaks1700
120,76M Популярность

Закреплено

Карта сайта

Технические специалисты OpenAI один за другим ставят под сомнение предложения по оборудованию V4: глава, которая впечатлила индустрию в V3, на этот раз «удивительна».

Популярные темы

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закреплено