Техники OpenAI критикуют рекомендации по аппаратному обеспечению V4: удивский сдвиг от влияния V3 на индустрию

Согласно мониторингу Beating, техник OpenAI Клайв Чан заявил, что общий технический отчет V4 остается на высшем уровне, но рекомендации по аппаратному обеспечению для производителей чипов “удивительно посредственные и даже ошибочные”, резко контрастируя с V3. Раздел аппаратного обеспечения отчета V3 содержал вопрос-ответ, который был самой популярной дискуссией на академической конференции ISCA, с рекомендациями, специфическими для стандартов отрасли, разрабатываемых для межсоединений, в то время как V4 стал гораздо более расплывчатым. Чан поднял несколько спорных моментов. Что касается энергопотребления, в отчете утверждается, что оптимизация программного обеспечения позволяет чипам одновременно выполнять вычисления, хранение данных и коммуникацию на полной мощности, предполагая, что производители чипов резервируют больше резервов по мощности. Чан считает, что это “контрпродуктивно”: общее энергопотребление чипа ограничено физическими процессами, и резервирование большего запаса мощности означало бы снижение тактовой частоты, а следовательно, уменьшение вычислительной мощности. По вопросу передачи данных между GPU, в отчете предлагается, что GPU должны активно читать данные (pull), а не получать их по инициативе, из-за высокого накладных расходов на push-уведомления. Чан ставит под сомнение этот вывод, полагая, что pull на самом деле медленнее, и что возможности обработки данных сетевых карт следует улучшить. Однако, возможно, речь идет о разных уровнях проблем: в отчете рассматривается накладные расходы механизма уведомлений, в то время как Чан обеспокоен задержкой самой передачи. Что касается функций активации, в отчете рекомендуется заменить SwiGLU на более простые функции, чтобы снизить вычислительную нагрузку, но Чан считает, что это необязательно, поскольку Sonic MoE уже продемонстрировал, что оптимальную производительность можно достичь, используя SwiGLU. Чан подозревает, что DeepSeek “преднамеренно умалчивает об этом разделе”.