$NVDA Jonathan Ross dice que la memoria es actualmente el mayor cuello de botella de la IA, pero los cuellos de botella no son permanentes.

“Cada vez que un cuello de botella se vuelve lo suficientemente grande, la gente lo resuelve.”
Su advertencia es que la memoria puede seguir siendo extremadamente valiosa mientras esté limitada, pero si se vuelve demasiado cara o escasa, se convierte en el problema que los ingenieros se ven obligados a atacar.
Si la memoria se convierte en un cuello de botella demasiado grande, la industria comenzará a buscar formas de reducir su dependencia de ella.
Él dijo que la memoria era “el segmento más comercializado de la cadena de suministro de semiconductores,” pero ahora es una de las restricciones más importantes en la IA.
Ross explica esto con la analogía del bien Giffen. Si la memoria se vuelve más cara, los clientes pueden inicialmente gastar más en ella porque es esencial. Pero eventualmente, si los precios suben demasiado, buscan sustitutos.
“si la memoria es demasiado cara y la gente no construye suficiente, la gente va a resolver ese problema tecnológicamente.”
El ejemplo de DeepSeek encaja con su punto. Cuando el entrevistador menciona que DeepSeek V4 comprimió en un 90% la caché KV, Ross responde que este trabajo de ingeniería tuvo un costo de oportunidad.
“Si tuvieran suficiente memoria, habrían trabajado en otra cosa. Si no fuera tan cara, habrían trabajado en otra cosa.”
“Haces que sea un problema lo suficientemente grande. Es la amapola alta. Tan pronto como se vuelve demasiado alta, la cortan.”