torygreen

Ngày 6 tháng 2 dường như là ngày cuối cùng con người tiêu thụ nhiều token hơn các tác nhân trên @OpenRouter.
Lượng sử dụng hằng tuần tăng từ 0,5 nghìn tỷ token vào tháng 1 năm 2025 lên 128,4 nghìn tỷ vào tháng 9 năm 2026. Tăng khoảng 250 lần trong 20 tháng.
Tôi nghĩ thống kê đầu tiên quan trọng hơn nhiều so với hầu hết các biểu đồ tăng trưởng người dùng AI.
Con người có giới hạn khá rõ về lượng AI họ có thể sử dụng trong một ngày. Các tác nhân có thể chạy qua đêm, thử lại, gọi các tác nhân khác và tiếp tục tiêu tốn năng lực tính toán với tốc độ điên rồ.
Khi máy móc trở thành khách hàng chính c

Mỹ đầu tư lượng vốn tư nhân vào AI nhiều hơn Trung Quốc khoảng 23 lần.
Trong khi đó, 5 mô hình được dùng nhiều nhất trên OpenRouter đều của Trung Quốc và xử lý khoảng 74 nghìn tỷ token.
Sự chênh lệch này thật đáng kinh ngạc.
Các phòng thí nghiệm Mỹ đang dẫn đầu cuộc đua vốn, nhưng các mô hình Trung Quốc đang lan rộng trong những phần của hệ thống mà nhà phát triển tiếp xúc mỗi ngày: suy luận, tác tử, công cụ lập trình và các tác vụ API giá rẻ.
Nếu xu hướng này tiếp tục tích lũy, Trung Quốc không cần chi nhiều hơn Mỹ để giành lợi thế. Chỉ cần các mô hình của họ nằm bên dưới đủ nhiều sản phẩm.

Gần 90% token của tác nhân trên @OpenRouter là lượt đọc bộ nhớ đệm.
Đầu ra + suy luận chỉ chiếm khoảng 1%.
Và các khóa API dành cho tác nhân hiện đã tiêu thụ lượng token nhiều gấp khoảng 7 lần so với khóa do con người điều khiển.
Điều này hợp lý khi nhìn vào cách các tác nhân thực sự hoạt động. Mỗi bước lại kéo lời nhắc hệ thống, định nghĩa công cụ, tệp, các lệnh gọi công cụ trước đó + trạng thái hội thoại chạy lại qua mô hình.
Một tác nhân chạy lâu về cơ bản trở thành một tập dữ liệu làm việc khổng lồ cần luôn sẵn sàng trong bộ nhớ.
Các nhà cung cấp cũng đang thích ứng nhanh chóng. Tỷ lệ bộ n

AI chiếm 64% tổng vốn đầu tư mạo hiểm toàn cầu trong Q3.
$102B trong tổng số 159 tỷ USD.
Và bằng cách nào đó, dòng tiền lại đang tập trung hơn cùng lúc.
27 công ty huy động các vòng vốn từ 1 tỷ USD trở lên, chiếm khoảng 1/3 tổng vốn toàn cầu. Các vòng gọi vốn từ 100 triệu USD trở lên chiếm gần 90% nguồn vốn giai đoạn cuối.
AI tiên phong đang ngày càng giống ngành công nghiệp nặng với chi phí đầu tư ban đầu khổng lồ hơn là hoạt động đầu tư mạo hiểm phần mềm thông thường.
Tính toán, trung tâm dữ liệu, huấn luyện, nhân tài + phân phối đều cần được tài trợ trước khi bất kỳ ai thực sự biết biên lợi

AI có thể rốt cuộc sẽ buộc các công ty ngừng vận hành dựa trên kiến thức truyền miệng nội bộ.
Các tác nhân không thể xử lý những thứ mà con người bằng cách nào đó vẫn làm được: các quyết định bị mắc kẹt trong những cuộc họp, các ưu tiên nằm trong đầu ai đó, những ngoại lệ kỳ quặc mà mọi người đều biết nhưng chẳng ai ghi lại.
@AnthropicAI đã bắt đầu gặp phải vấn đề này. Họ có khoảng 6 giờ-tác nhân hoạt động cho mỗi giờ-nhân viên, nhưng các tác nhân đó vẫn dành phần lớn thời gian tương tác để chờ con người.
Nhân viên đang xây dựng các chỉ dẫn thường trực, bộ giám sát, bên đánh giá tác nhân, thậm

Một đơn vị năng lực AI trị giá $1 hôm nay sẽ giảm còn khoảng 8 xu sau một năm nếu đường cong hiện tại tiếp diễn.
Rẻ hơn 47% mỗi quý đồng nghĩa năng lực cố định về cơ bản giảm còn một nửa giá sau mỗi ~100 ngày.
Phần cứng bên dưới không tiến bộ nhanh gần như vậy.
Hiệu năng trên mỗi USD của chip AI đã cải thiện ~49% mỗi năm kể từ 2023. Năng lực mô hình đã điều chỉnh theo chất lượng đang rẻ hơn ~13 lần.
Vì vậy, phần lớn mức giảm chi phí diễn ra phía trên lớp silicon: kiến trúc tốt hơn, huấn luyện, lượng tử hóa, triển khai phục vụ + cạnh tranh khốc liệt giữa các phòng thí nghiệm.
Và trí tuệ rẻ hơn

.@ionet đạt khoảng 165 tỷ token thông qua @OpenRouter trong 13 ngày đầu tháng 10.
Con số đó đã bằng khoảng 1,8 lần tổng lượng chúng ta thực hiện trong cả tháng 7.
Nếu tốc độ hiện tại được duy trì, tổng khối lượng tháng 10 sẽ rơi vào khoảng gấp 4 lần tháng 7.
Thành thật mà nói, tôi quan tâm đến điều đó hơn là số lượng GPU thuần túy.
Sản lượng hữu ích trên mỗi GPU được triển khai tiếp tục tăng khi các mô hình thưa trở nên tốt hơn và ngăn xếp phục vụ được tối ưu chặt chẽ hơn. Vì vậy, mạng lưới có thể phát triển theo hai hướng cùng lúc: có thêm phần cứng đi vào hoạt động và khai thác được nhiều cô

Đến năm 2032, phép tính xây dựng AI hiện tại cần khoảng 183 GW công suất, tạo ra khoảng 6,90 USD cho mỗi giờ GPU được tính phí ở mức sử dụng 80%.
Đó là một lượng cơ sở hạ tầng khổng lồ cần được duy trì hoạt động.
Kịch bản cơ sở của Van Nieuwerburgh giả định nền tảng vốn trị giá khoảng 9,6 nghìn tỷ USD, lợi nhuận không sử dụng đòn bẩy 10%, biên dòng tiền hoạt động 50% và vòng đời thiết bị CNTT sáu năm.
Theo thiết lập đó, hệ thống cần doanh thu hằng năm 3,725 nghìn tỷ USD, tương đương khoảng 9,2% GDP Mỹ dự phóng.
Thay đổi các giả định, ngưỡng này dao động từ 2,3 nghìn tỷ USD đến 6,7 nghìn tỷ USD

.@ionet đã xử lý gần như lượng token thông qua @OpenRouter trong tuần đầu tháng 10 bằng cả tháng 7.
~92 tỷ token trong tháng 7
~86 tỷ token từ ngày 1–7 tháng 10
20,9 tỷ token chỉ riêng ngày 7 tháng 10
Cùng những máy đó.
Điều tôi thích nhất là cách khối lượng đang xuất hiện.
Phần lớn khối lượng gần đây đang chảy qua các mô hình thưa như MiMo, Gemma và Nemotron, trong đó chỉ một phần nhỏ của mô hình được kích hoạt cho mỗi token. Kết hợp điều đó với việc batching, caching, định tuyến + hạ tầng phục vụ tốt hơn, hiệu quả kinh tế của cùng một đội GPU tiếp tục thay đổi ngay trước mắt bạn.
Với @ionet,

Jev có thể là ví dụ hoàn hảo cho việc một ý tưởng AI tốt bị biến thành hàng hóa nhanh đến mức nào hiện nay.
Nó ra mắt vào ngày 15 tháng 9. Trong vòng hai tuần, OpenAI, Databricks + Cloudflare đã nhanh chóng phát hành các sản phẩm xoay quanh cùng một primitive. Clef-flash của Cloudflare thậm chí còn tương thích với Jev và tuyên bố có độ trễ trung vị thấp hơn khoảng 13 lần.
Vì vậy, nhu cầu không phải là vấn đề. Ý tưởng này đơn giản là quá dễ bị hấp thụ một khi mọi người thấy nó hoạt động.
Có cảm giác lợi thế phòng thủ ở đây phải nằm ở vòng lặp phản hồi, dữ liệu độc quyền + khả năng phân phối.
Je

Cùng một harness của Deepseek, cùng một chỉ dẫn ngắn và:
Deepseek-v4-flash đạt 0,52 điểm trên BIABench.
Claude Opus 5 đạt 0,65.
Vì vậy, chi phí cao hơn khoảng 50 lần chỉ mang lại thêm 0,13 điểm trên 16 tác vụ phân tích ảnh sinh học thực tế.
Và phần đuôi tệ hại hầu như không cải thiện. Một số tác vụ 3D + chuỗi thời gian vẫn dưới 0,19 ở mọi agent, trong khi việc chạy lại cùng một mô hình có thể tạo ra khác biệt lớn hơn cả việc chuyển hẳn sang mô hình khác.
Có lẽ tôi sẽ dùng mô hình giá rẻ cho khối lượng công việc thường lệ, sau đó chuyển các trường hợp không chắc chắn cho con người hoặc các công

Google có một vòng lặp khá bất công với Argon so với phần còn lại của các phòng thí nghiệm AI tiên phong
họ sở hữu các TPU bên dưới Argon và có thể đưa mô hình thẳng vào các API vốn đang xử lý khoảng 22 tỷ token/phút.
Đó là một hệ thống khá ấn tượng.
Xây dựng chip -> huấn luyện mô hình -> đưa mô hình vào hệ thống phân phối rộng đến phi lý -> đưa lợi ích thu được trở lại lần chạy tiếp theo.
Và Argon cũng đã cải thiện chính hệ thống xung quanh nó, giải phóng hơn 300 TiB bộ nhớ trung tâm dữ liệu bằng cách chuyển hơn 800 nghìn dòng từ C/C++ sang Rust và đẩy một quy trình điện toán lượng tử vượt 40

.@AnthropicAI S-1 khá thú vị vì hoạt động kinh doanh đang phát triển gần như quá nhanh so với chính bản hồ sơ.
Doanh thu năm 2025 là khoảng 4,6 tỷ USD. Riêng Q2/2026 đã đạt khoảng 11,5 tỷ USD, và đến cuối tháng 7, ARR được cho là đã vượt 65 tỷ USD.
Sau đó, bạn có khoảng 80 trang về các yếu tố rủi ro so với 48 trang về hoạt động kinh doanh thực tế, một công bố cho biết khoảng 6% tài nguyên tính toán nghiên cứu AI đã được dành cho công tác an toàn trong một tuần được lấy mẫu, cùng một thừa nhận khá thẳng thắn rằng việc phát hành các mô hình liên tục và chồng lấn về cơ bản là bắt buộc để duy trì

Mức độ tiếp nhận AI gần như không tăng trong năm nay. Chi tiêu của người tiêu dùng vẫn tăng từ ~$12B → 40 tỷ USD.
Đó là một tín hiệu thú vị hơn nhiều so với một cột mốc khác về số lượng người dùng.
Mức độ tiếp nhận tại Mỹ chỉ tăng từ 61% → 64%. Số người dùng toàn cầu tăng khoảng 11%.
Những người dùng hiện tại chỉ mới bắt đầu giao phó cho AI nhiều phần hơn trong cuộc sống của họ.
41% đã dùng thử một tác nhân AI. 32% đã cho phép AI hành động mà không cần phê duyệt lần cuối. Và 92% người dùng tác nhân AI đang trả phí cho AI.
Vì vậy, bước phát triển tiếp theo của AI dành cho người tiêu dùng có lẽ

“Flippening” mà chúng ta không ngờ lại xảy ra sớm đến vậy.
Các mô hình có trọng số mở đang bắt đầu giống như nguồn điện phụ tải nền cho AI.
Hiện tại, chúng chưa hoàn toàn vượt qua mô hình đóng tốt nhất. Nhưng chúng đủ gần và đủ tốt cho khối lượng công việc khổng lồ không tương xứng với mức giá mô hình tiên phong.
Khi đó, Astra, Opus, Fable, v.v. sẽ giống các nhà máy điện phụ tải đỉnh hơn: công suất đắt đỏ chỉ được huy động khi tác vụ thực sự xứng đáng.
Nếu xu hướng này tiếp diễn, các mô hình có trọng số mở có thể đảm nhận phần lớn tác vụ suy luận thường nhật, trong khi các phòng thí ng

Chúng ta đã dành hàng thập kỷ để khiến phần mềm trở nên ít phụ thuộc vào thế giới vật chất hơn, và AI đang nhanh chóng đảo ngược điều đó.
Các ước tính hiện tại cho thấy việc xây dựng hạ tầng AI của Mỹ sẽ hấp thụ khoảng 3,63% GDP mỗi năm trong giai đoạn 2025–32, tổng cộng xấp xỉ 10,3 nghìn tỷ USD.
> Đường sắt đạt mức trung bình 2,24%.
> Đường cao tốc 1,13%.
> Viễn thông + cáp quang 1,1%.
Đó là một khối lượng bê tông, đồng, điện, GPU và hệ thống làm mát khổng lồ đang được xây dựng để phục vụ trí tuệ.
So sánh với đường sắt là hữu ích, nhưng có một khác biệt tai hại: một tuyến đường sắt được xây d

Các mô hình tiên phong giờ đây hầu như không còn đủ thời gian để trở thành lựa chọn mặc định trước khi những phiên bản cùng dòng rẻ hơn xuất hiện và bắt đầu gánh phần công việc.
Đã có 36 lần ra mắt dòng mô hình lớn tính đến ngày 23 tháng 9 năm nay, tăng từ 27 lần trong cùng 7 phòng lab vào năm ngoái.
Các bậc giá cũng đang mở rộng nhanh không kém. @AnthropicAI đã đưa mức giá của các mô hình cấp Opus từ $15/$75 cho mỗi triệu token xuống còn $4/$20.
@OpenAI hiện trải dài từ Luna ở mức $0,10/$0,50 cho đến Astra ở mức $10/$50.
Điều đó tạo ra một tác động khá kỳ lạ đối với kinh tế học mô hình.
Mô hì