Một điều gì đó đã lặng lẽ đảo ngược trong tính toán AI năm nay, và nó thay đổi mục đích thực sự của việc xây dựng hạ tầng.

Năm 2023, 2/3 sức mạnh tính toán AI dành cho training, công việc thực tế xây dựng một mô hình. Phần nhỏ hơn còn lại dành cho inference, công việc thực tế chạy mô hình sau khi nó được xây dựng. Nhưng tỷ lệ đó đã lặng lẽ bắt đầu đảo chiều.
Hiện tại, inference chiếm 2/3 và vẫn đang tăng, theo Deloitte, và các chip được xây dựng để chạy nó đã vượt qua $50B trong năm nay.
Lý do chính sự đảo chiều này quan trọng (và không phải ở tỷ lệ phần trăm): training và inference là hai thực thể hoàn toàn khác nhau. Training diễn ra theo từng đợt, trên một cụm máy tính lớn duy nhất, rồi kết thúc. Inference không bao giờ dừng lại. Nó chạy mỗi khi ai đó gửi một lời nhắc hoặc một tác nhân thực hiện một bước, và nó mở rộng quy mô theo mỗi người dùng bạn thêm vào. Một cái là một dự án xây dựng. Cái còn lại là một hóa đơn tiện ích tăng mãi mãi.
Mọi giả định về hạ tầng AI đều được xây dựng xoay quanh training, bởi vì đó là nơi tiền đổ vào. Giờ đây, tiền vừa chuyển sang khối lượng công việc không cần phải nằm trong một cụm duy nhất để chạy.