Технічні фахівці OpenAI критикують рекомендації щодо апаратного забезпечення V4: несподіваний зсув від впливу V3 на індустрію

Згідно з моніторингом Beating, технік OpenAI Клайв Чан заявив, що загальний технічний звіт V4 залишається високого рівня, але рекомендації щодо апаратного забезпечення для виробників чипів є “дивно посередніми і навіть помилковими”, різко контрастуючи з V3. Апаратний розділ звіту V3 містив питання та відповіді, які були найпопулярнішою дискусією на академічній конференції ISCA, з рекомендаціями, що були конкретними для стандартів галузі, розроблених для міжз’єднань, тоді як V4 став набагато більш розпливчастим. Чан висловив кілька зауважень. Щодо споживання енергії, у звіті стверджується, що оптимізація програмного забезпечення дозволяє чипам одночасно виконувати обчислення, зберігання та комунікацію на повну потужність, натякаючи, що виробники чипів резервують більше резерву потужності. Чан вважає, що це “контрпродуктивно”: загальне споживання енергії чипа обмежене фізичними процесами, і резервування більшого резерву потужності означає зниження тактової частоти, що зменшує обчислювальну потужність. Щодо передачі даних між GPU, у звіті пропонується, що GPU повинні активно читати дані (pull), а не отримувати їх push-ем, через високий накладний витрат push-сповіщень. Чан ставить під сумнів цю оцінку, вважаючи, що pull фактично повільніше і що можливості обробки даних мережевих карт потрібно покращити. Однак, можливо, вони не обговорюють одні й ті ж рівні проблем: звіт стосується накладних витрат механізму сповіщення, тоді як Чан стурбований затримкою самої передачі. Щодо функцій активації, у звіті рекомендується замінити SwiGLU на простіші функції для зменшення обчислювального навантаження, але Чан вважає, що це непотрібно, оскільки Sonic MoE вже продемонстрував, що оптимальна продуктивність може бути досягнута за допомогою SwiGLU. Чан підозрює, що DeepSeek “навмисно зменшив значення цього розділу”.