Creo que los ASIC no son lo que mucha gente piensa: que son circuitos dedicados hechos para una sola arquitectura de modelo. Más bien, deberían estar diseñados para una capa de modelo (Model Layer) y para operadores (Operator) específicos; internamente son programables.

¿ASICs no serían tan “tontos” como para solo ejecutar un modelo específico? También tienen equipos de modelos que iteran. ¿Cómo podrían no comunicarse?

Un patrón de diseño bastante sencillo: perfila en qué operadores tu modelo consume más tiempo y luego haz que los diseñadores optimicen esos operadores, convirtiéndolos en un ASIC. Así es muy fácil mejorar la eficiencia de tu workload.

En realidad, ese ASIC es un conjunto de operadores; por supuesto, quizá se pierdan algunos operadores menos comunes por cuestiones de eficiencia, pero aun así puede ejecutar modelos generales.

Al menos, no hay una diferencia esencial con lo que hace ahora NVDA. La diferencia es que NVDA necesita abarcar a todas las empresas, mientras que un ASIC puede encargarse de forma especializada de un conjunto de tráfico propio. Por supuesto que esto tiene valor.

A medida que las empresas se diferencian más, el valor de los ASIC debería aumentar cada vez más, no al revés. No hay necesidad de pagar una prima por funciones que no vas a usar.

Así que, mi juicio sobre los ASIC es que, en el futuro, al menos podrán capturar el 50% del “reino” de la inferencia. La crisis de Nvidia es real; no creo que vaya a 300, y tampoco la compraría.

Gracias a todos.