Técnicos de OpenAI critican las recomendaciones de hardware de V4: un cambio sorprendente respecto al impacto en la industria de V3

robot
Generación de resúmenes en curso

Según la monitorización de Beating, el técnico de OpenAI Clive Chan afirmó que el informe técnico general de V4 sigue siendo de primera categoría, pero las recomendaciones de hardware para los fabricantes de chips son “sorprendentemente mediocres e incluso erróneas”, en marcado contraste con V3. La sección de hardware del informe de V3 presentaba una sesión de preguntas y respuestas que fue la discusión más popular en la conferencia académica ISCA, con recomendaciones específicas para los estándares de la industria en desarrollo para las interconexiones, mientras que V4 se ha vuelto mucho más vago. Chan planteó varios puntos de controversia. En cuanto al consumo de energía, el informe afirma que la optimización del software permite que los chips ejecuten cálculos, almacenamiento y comunicación a plena capacidad simultáneamente, sugiriendo que los fabricantes de chips reserven más margen de potencia. Chan argumenta que esto es “contraproducente”: el consumo total de energía de un chip está limitado por procesos físicos, y reservar más margen de potencia significaría reducir la frecuencia de operación, reduciendo así la potencia computacional. Sobre la transmisión de datos entre GPUs, el informe sugiere que las GPUs deberían leer activamente los datos (extraer) en lugar de que se les envíen, debido a la alta sobrecarga de las notificaciones push. Chan cuestiona este juicio, creyendo que la extracción en realidad es más lenta y que las capacidades de procesamiento de datos de las tarjetas de red deberían mejorarse. Sin embargo, puede que no estén discutiendo el mismo nivel de problemas: el informe aborda la sobrecarga del mecanismo de notificación, mientras que Chan está preocupado por la latencia de la transmisión en sí. En cuanto a las funciones de activación, el informe recomienda reemplazar SwiGLU por funciones más simples para reducir la carga computacional, pero Chan cree que esto no es necesario, ya que Sonic MoE ya ha demostrado que se puede lograr un rendimiento óptimo usando SwiGLU. Chan sospecha que DeepSeek puede haber “intencionadamente minimizado esta sección”.

Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado