Algo mudou discretamente na computação de IA este ano, e isso altera o propósito real da construção da infraestrutura.

Em 2023, 2/3 da computação de IA foi para o treino, o trabalho efetivo de construir um modelo. A fatia mais pequena foi para a inferência, o trabalho de o executar depois de construído. Mas essa proporção começou discretamente a inverter-se.
A inferência representa agora 2/3 e continua a subir, segundo a Deloitte, e os chips construídos para a executar ultrapassaram $50B este ano.
A principal razão pela qual esta inversão é importante (e não apenas em termos percentuais): o treino e a inferência são animais diferentes. O treino ocorre em rajadas, num único cluster gigante, e depois termina. A inferência nunca para. É executada sempre que alguém envia um comando ou um agente dá um passo, e escala com cada utilizador que se adiciona. Um é um projeto de construção. O outro é uma conta de serviços públicos que cresce para sempre.
Todas as suposições sobre infraestrutura de IA foram construídas em torno do treino, porque era para lá que o dinheiro ia. O dinheiro acabou de se mudar para a carga de trabalho que não precisa de estar num único cluster para ser executada.