Algo se invirtió silenciosamente en el cómputo de IA este año, y cambia para qué es realmente la construcción.

En 2023, 2/3 del cómputo de IA se destinó al entrenamiento, el trabajo real de construir un modelo. La otra porción, más pequeña, fue para inferencia, el trabajo de ejecutarlo una vez construido. Pero esa proporción comenzó a invertirse silenciosamente.
La inferencia ahora es 2/3 y sigue subiendo, según Deloitte, y los chips construidos para ejecutarla superaron $50B este año.
La razón principal por la que este cambio importa (y no es porcentualmente): entrenamiento e inferencia son animales diferentes. El entrenamiento ocurre en ráfagas, en un clúster gigante, y luego termina. La inferencia nunca se detiene. Se ejecuta cada vez que alguien envía un prompt o un agente da un paso, y escala con cada usuario que agregas. Uno es un proyecto de construcción. El otro es una factura de servicios que crece para siempre.
Cada suposición sobre la infraestructura de IA se construyó en torno al entrenamiento, porque ahí iba el dinero. El dinero simplemente se movió a la carga de trabajo que no necesita estar en un solo clúster para ejecutarse.