Algo se inverteu silenciosamente na computação de IA neste ano, e isso muda para que serve realmente a construção.

Em 2023, 2/3 da computação de IA foi para treinamento, o trabalho real de construir um modelo. A outra fatia, menor, foi para inferência, o trabalho de realmente executá-lo depois de construído. Mas essa proporção começou a virar silenciosamente.

A inferência agora é 2/3 e continua subindo, segundo a Deloitte, e os chips construídos para executá-la ultrapassaram $50B este ano.

O principal motivo pelo qual essa inversão importa (e não é percentualmente): treinamento e inferência são animais diferentes. O treinamento ocorre em surtos, em um único cluster gigante, e depois termina. A inferência nunca para. Ela é executada toda vez que alguém envia um prompt ou um agente dá um passo, e escala com cada usuário que você adiciona. Uma é um projeto de construção. A outra é uma conta de serviços públicos que cresce para sempre.

Toda suposição sobre infraestrutura de IA foi construída em torno do treinamento, porque era para lá que o dinheiro ia. O dinheiro acabou de se mover para a carga de trabalho que não precisa ficar em um único cluster para funcionar.