xAI posee 500,000 GPU pero su tasa de utilización es solo del 11%

Noticia de CoinWorld, xAI, propiedad de Elon Musk, posee aproximadamente 500,000 tarjetas gráficas de Nvidia, siendo uno de los mayores clústeres entre los desarrolladores de IA en datos públicos. Pero un memorando interno muestra que, en las últimas semanas, el MFU (utilización de flops del modelo, que mide la proporción del rendimiento real del chip respecto a su pico teórico) de xAI es solo alrededor del 11%. Un investigador de un laboratorio competidor afirmó que la mayoría de las empresas tienen dificultades para superar el 40%, pero el 11% es “ridículamente bajo”. La baja utilización es un problema común en la industria; el entrenamiento de IA es intermitente: las GPU funcionan a plena carga durante el entrenamiento, pero cuando los investigadores analizan los resultados y deciden los próximos pasos, los chips quedan ociosos. También hay cuellos de botella a nivel de hardware: la velocidad de la memoria de alta banda ancha (HBM) no puede seguir el ritmo de los chips de cálculo, y la transmisión de datos entre miles de GPU puede verse ralentizada por cualquier eslabón débil en la red. Además, en la industria existe un fenómeno de “engañar los datos”, donde un investigador de un gran laboratorio reveló que sus colegas repiten repetidamente los experimentos de entrenamiento para aumentar artificialmente la cifra de utilización, en parte para evitar críticas de los superiores y en parte para prevenir que las GPU ociosas sean reasignadas a otros equipos.