В этом году в AI-вычислениях что-то тихо перевернулось, и это меняет то, для чего на самом деле предназначено строительство.

В 2023 году 2/3 AI-вычислений уходили на обучение, фактическую работу по созданию модели. Оставшаяся, меньшая часть шла на инференс, работу по фактическому запуску модели после её создания.
Но это соотношение тихо начало меняться.
Сейчас инференс составляет 2/3 и продолжает расти, по данным Deloitte, а чипы, созданные для его выполнения, пересекли $50B в этом году.
Главная причина, почему этот переворот важен (и это не в процентном соотношении): обучение и инференс — разные звери.
Обучение происходит всплесками, на одном гигантском кластере, затем оно завершается. Инференс никогда не останавливается. Он запускается каждый раз, когда кто-то отправляет промпт или агент делает шаг, и масштабируется с каждым добавленным пользователем.
Один — это строительный проект. Другой — это счёт за коммунальные услуги, который растёт бесконечно.
Все предположения об AI-инфраструктуре строились вокруг обучения, потому что туда уходили деньги.
Деньги просто переместились на нагрузку, которая не должна находиться в одном кластере для работы.