Técnicos de OpenAI cuestionan punto por punto las sugerencias de hardware V4: el capítulo que sorprendió a la industria con V3 esta vez es "sorprendente".

robot
Generación de resúmenes en curso
ME News noticias, 24 de abril (UTC+8), según el monitoreo de Dongcha Beating, el técnico de OpenAI Clive Chan afirmó que el informe técnico de V4 sigue siendo de nivel superior en general, pero el capítulo de recomendaciones de hardware para fabricantes de chips es "sorprendentemente mediocre e incluso contiene errores", contrastando con V3. El Q&A del capítulo de hardware de V3 fue la sección de discusión más popular en la conferencia académica ISCA, con recomendaciones específicas sobre los estándares de interconexión que la industria estaba desarrollando, mientras que V4 es mucho más vago. Chan planteó objeciones una por una. Sobre el consumo de energía, el informe afirma que las optimizaciones de software permiten que la computación, el almacenamiento y la comunicación del chip funcionen a plena carga simultáneamente, recomendando a los fabricantes de chips reservar más margen de potencia. Chan considera que "es precisamente contraproducente": el consumo total de energía del chip está limitado por el proceso físico, y reservar más margen de potencia implica reducir la frecuencia de operación, lo que disminuye la capacidad de cómputo. Sobre el método de transferencia de datos entre GPU, el informe afirma que se elige que la GPU lea activamente los datos (pull) en lugar de que la otra parte los envíe (push), porque la sobrecarga de notificación de push es demasiado alta. Chan cuestiona este juicio, creyendo que pull es en realidad más lento, y que se debería mejorar la capacidad de procesamiento de datos de la tarjeta de red. Sin embargo, es posible que los dos estén discutiendo aspectos diferentes: el informe habla de la sobrecarga del mecanismo de notificación, mientras que Chan habla de la latencia de la transmisión en sí. Sobre las funciones de activación, el informe recomienda reemplazar SwiGLU con funciones más simples para reducir la carga computacional, Chan considera que no es necesario, ya que Sonic MoE ha demostrado que se puede alcanzar el rendimiento óptimo incluso con SwiGLU. Chan sospecha que DeepSeek puede haber "debilitado intencionalmente este capítulo". (Fuente: BlockBeats)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado