Les techniciens d'OpenAI critiquent les recommandations matérielles de V4 : un changement surprenant par rapport à l'impact industriel de V3

Selon la surveillance de Beating, le technicien d’OpenAI Clive Chan a déclaré que le rapport technique global V4 reste de premier ordre, mais que les recommandations matérielles pour les fabricants de puces sont “surprenamment médiocres et même erronées”, contrastant fortement avec la V3. La section matérielle du rapport V3 comportait une séance de questions-réponses qui était la discussion la plus populaire lors de la conférence académique ISCA, avec des recommandations spécifiques aux normes industrielles en cours de développement pour les interconnexions, alors que la V4 est devenue beaucoup plus vague. Chan a soulevé plusieurs points de discorde. En ce qui concerne la consommation d’énergie, le rapport affirme que l’optimisation logicielle permet aux puces de faire fonctionner le calcul, le stockage et la communication à pleine capacité simultanément, suggérant que les fabricants de puces réservent plus de marge de puissance. Chan soutient que cela est “contre-productif” : la consommation totale d’énergie d’une puce est limitée par des processus physiques, et réserver plus de marge de puissance signifierait réduire la fréquence de fonctionnement, ce qui diminuerait la puissance de calcul. Sur le sujet de la transmission de données entre GPU, le rapport suggère que les GPU devraient lire activement les données (pull) plutôt que de les recevoir par poussée, en raison du coût élevé des notifications push. Chan remet en question ce jugement, croyant que le pull est en réalité plus lent et que les capacités de traitement des données des cartes réseau devraient être améliorées. Cependant, les deux ne discutent peut-être pas du même niveau de problèmes : le rapport traite de la surcharge du mécanisme de notification, tandis que Chan s’inquiète de la latence de la transmission elle-même. Concernant les fonctions d’activation, le rapport recommande de remplacer SwiGLU par des fonctions plus simples pour réduire la charge de calcul, mais Chan pense que cela est inutile, car Sonic MoE a déjà démontré qu’une performance optimale peut être atteinte en utilisant SwiGLU. Chan suspecte que DeepSeek a “délibérément minimisé cette section”.