torygreen

.@ionet đã xử lý ~416 tỷ token thông qua OpenRouter trong tháng 10.
Duy trì ~13,4 tỷ token mỗi ngày trên một mạng GPU phân tán là lúc kiến trúc bắt đầu được thử thách thực sự.
Định tuyến trên nhiều loại phần cứng, duy trì độ trễ ổn định và khiến người dùng không nhận thấy sự cố đều trở nên quan trọng hơn nhiều khi lưu lượng duy trì liên tục ở mức này.
Nhìn chung, đây là một tháng rất thành công của ionet, đồng thời cho thấy phần nào mạng lưới này có thể phát triển ra sao khi đạt quy mô lớn hơn nhiều.

Cùng một rack B300: khoảng $600k bên ngoài Trung Quốc, khoảng 2,8 triệu USD ở bên trong. Không lạ khi các phòng thí nghiệm Trung Quốc chỉ thuê máy chủ ở nước ngoài.
Giờ đây, Nvidia đang yêu cầu các nhà cung cấp dịch vụ đám mây dành ít nhất 51% công suất mới cho khách hàng không phải Trung Quốc (theo FT). Các thỏa thuận hiện có được giữ nguyên.
Những bên tôi lo ngại là các nhà cung cấp đám mây thế hệ mới ở châu Á, với toàn bộ câu chuyện nhu cầu xoay quanh các phòng thí nghiệm Trung Quốc. Một nhà vận hành ở Singapore đã nói rằng rất khó tìm người mua không phải Trung Quốc bên ngoài Mỹ. Nếu họ k

Cùng mô hình. Cùng tác vụ. Ít hơn 88% token.
Các nhà nghiên cứu xây dựng lại vòng lặp quanh DeepSeek Harness, giảm số token cho mỗi tác vụ HumanEval từ 96 nghìn xuống 11,6 nghìn. Mô hình cũng giải được nhiều bài hơn, từ 71% lên 86%.
Phần lớn token mà các tác nhân tiêu tốn là do vòng lặp liên tục suy nghĩ lại những việc đã xử lý xong sau mỗi lần gọi công cụ. Cắt giảm phần đó giúp hóa đơn giảm khoảng 8 lần mà không cần đụng đến trọng số.
Nếu bạn dự báo nhu cầu suy luận dựa trên số token cho mỗi tác vụ hiện nay, thì một phần lớn con số đó chỉ là do bộ khung vận hành kém hiệu quả đến mức nào. Và c

Ngày 6 tháng 2 dường như là ngày cuối cùng con người tiêu thụ nhiều token hơn các tác nhân trên @OpenRouter.
Lượng sử dụng hằng tuần tăng từ 0,5 nghìn tỷ token vào tháng 1 năm 2025 lên 128,4 nghìn tỷ vào tháng 9 năm 2026. Tăng khoảng 250 lần trong 20 tháng.
Tôi nghĩ thống kê đầu tiên quan trọng hơn nhiều so với hầu hết các biểu đồ tăng trưởng người dùng AI.
Con người có giới hạn khá rõ về lượng AI họ có thể sử dụng trong một ngày. Các tác nhân có thể chạy qua đêm, thử lại, gọi các tác nhân khác và tiếp tục tiêu tốn năng lực tính toán với tốc độ điên rồ.
Khi máy móc trở thành khách hàng chính c

Mỹ đầu tư lượng vốn tư nhân vào AI nhiều hơn Trung Quốc khoảng 23 lần.
Trong khi đó, 5 mô hình được dùng nhiều nhất trên OpenRouter đều của Trung Quốc và xử lý khoảng 74 nghìn tỷ token.
Sự chênh lệch này thật đáng kinh ngạc.
Các phòng thí nghiệm Mỹ đang dẫn đầu cuộc đua vốn, nhưng các mô hình Trung Quốc đang lan rộng trong những phần của hệ thống mà nhà phát triển tiếp xúc mỗi ngày: suy luận, tác tử, công cụ lập trình và các tác vụ API giá rẻ.
Nếu xu hướng này tiếp tục tích lũy, Trung Quốc không cần chi nhiều hơn Mỹ để giành lợi thế. Chỉ cần các mô hình của họ nằm bên dưới đủ nhiều sản phẩm.

Gần 90% token của tác nhân trên @OpenRouter là lượt đọc bộ nhớ đệm.
Đầu ra + suy luận chỉ chiếm khoảng 1%.
Và các khóa API dành cho tác nhân hiện đã tiêu thụ lượng token nhiều gấp khoảng 7 lần so với khóa do con người điều khiển.
Điều này hợp lý khi nhìn vào cách các tác nhân thực sự hoạt động. Mỗi bước lại kéo lời nhắc hệ thống, định nghĩa công cụ, tệp, các lệnh gọi công cụ trước đó + trạng thái hội thoại chạy lại qua mô hình.
Một tác nhân chạy lâu về cơ bản trở thành một tập dữ liệu làm việc khổng lồ cần luôn sẵn sàng trong bộ nhớ.
Các nhà cung cấp cũng đang thích ứng nhanh chóng. Tỷ lệ bộ n

AI chiếm 64% tổng vốn đầu tư mạo hiểm toàn cầu trong Q3.
$102B trong tổng số 159 tỷ USD.
Và bằng cách nào đó, dòng tiền lại đang tập trung hơn cùng lúc.
27 công ty huy động các vòng vốn từ 1 tỷ USD trở lên, chiếm khoảng 1/3 tổng vốn toàn cầu. Các vòng gọi vốn từ 100 triệu USD trở lên chiếm gần 90% nguồn vốn giai đoạn cuối.
AI tiên phong đang ngày càng giống ngành công nghiệp nặng với chi phí đầu tư ban đầu khổng lồ hơn là hoạt động đầu tư mạo hiểm phần mềm thông thường.
Tính toán, trung tâm dữ liệu, huấn luyện, nhân tài + phân phối đều cần được tài trợ trước khi bất kỳ ai thực sự biết biên lợi

AI có thể rốt cuộc sẽ buộc các công ty ngừng vận hành dựa trên kiến thức truyền miệng nội bộ.
Các tác nhân không thể xử lý những thứ mà con người bằng cách nào đó vẫn làm được: các quyết định bị mắc kẹt trong những cuộc họp, các ưu tiên nằm trong đầu ai đó, những ngoại lệ kỳ quặc mà mọi người đều biết nhưng chẳng ai ghi lại.
@AnthropicAI đã bắt đầu gặp phải vấn đề này. Họ có khoảng 6 giờ-tác nhân hoạt động cho mỗi giờ-nhân viên, nhưng các tác nhân đó vẫn dành phần lớn thời gian tương tác để chờ con người.
Nhân viên đang xây dựng các chỉ dẫn thường trực, bộ giám sát, bên đánh giá tác nhân, thậm

Một đơn vị năng lực AI trị giá $1 hôm nay sẽ giảm còn khoảng 8 xu sau một năm nếu đường cong hiện tại tiếp diễn.
Rẻ hơn 47% mỗi quý đồng nghĩa năng lực cố định về cơ bản giảm còn một nửa giá sau mỗi ~100 ngày.
Phần cứng bên dưới không tiến bộ nhanh gần như vậy.
Hiệu năng trên mỗi USD của chip AI đã cải thiện ~49% mỗi năm kể từ 2023. Năng lực mô hình đã điều chỉnh theo chất lượng đang rẻ hơn ~13 lần.
Vì vậy, phần lớn mức giảm chi phí diễn ra phía trên lớp silicon: kiến trúc tốt hơn, huấn luyện, lượng tử hóa, triển khai phục vụ + cạnh tranh khốc liệt giữa các phòng thí nghiệm.
Và trí tuệ rẻ hơn

.@ionet đạt khoảng 165 tỷ token thông qua @OpenRouter trong 13 ngày đầu tháng 10.
Con số đó đã bằng khoảng 1,8 lần tổng lượng chúng ta thực hiện trong cả tháng 7.
Nếu tốc độ hiện tại được duy trì, tổng khối lượng tháng 10 sẽ rơi vào khoảng gấp 4 lần tháng 7.
Thành thật mà nói, tôi quan tâm đến điều đó hơn là số lượng GPU thuần túy.
Sản lượng hữu ích trên mỗi GPU được triển khai tiếp tục tăng khi các mô hình thưa trở nên tốt hơn và ngăn xếp phục vụ được tối ưu chặt chẽ hơn. Vì vậy, mạng lưới có thể phát triển theo hai hướng cùng lúc: có thêm phần cứng đi vào hoạt động và khai thác được nhiều cô

Đến năm 2032, phép tính xây dựng AI hiện tại cần khoảng 183 GW công suất, tạo ra khoảng 6,90 USD cho mỗi giờ GPU được tính phí ở mức sử dụng 80%.
Đó là một lượng cơ sở hạ tầng khổng lồ cần được duy trì hoạt động.
Kịch bản cơ sở của Van Nieuwerburgh giả định nền tảng vốn trị giá khoảng 9,6 nghìn tỷ USD, lợi nhuận không sử dụng đòn bẩy 10%, biên dòng tiền hoạt động 50% và vòng đời thiết bị CNTT sáu năm.
Theo thiết lập đó, hệ thống cần doanh thu hằng năm 3,725 nghìn tỷ USD, tương đương khoảng 9,2% GDP Mỹ dự phóng.
Thay đổi các giả định, ngưỡng này dao động từ 2,3 nghìn tỷ USD đến 6,7 nghìn tỷ USD

.@ionet đã xử lý gần như lượng token thông qua @OpenRouter trong tuần đầu tháng 10 bằng cả tháng 7.
~92 tỷ token trong tháng 7
~86 tỷ token từ ngày 1–7 tháng 10
20,9 tỷ token chỉ riêng ngày 7 tháng 10
Cùng những máy đó.
Điều tôi thích nhất là cách khối lượng đang xuất hiện.
Phần lớn khối lượng gần đây đang chảy qua các mô hình thưa như MiMo, Gemma và Nemotron, trong đó chỉ một phần nhỏ của mô hình được kích hoạt cho mỗi token. Kết hợp điều đó với việc batching, caching, định tuyến + hạ tầng phục vụ tốt hơn, hiệu quả kinh tế của cùng một đội GPU tiếp tục thay đổi ngay trước mắt bạn.
Với @ionet,

Jev có thể là ví dụ hoàn hảo cho việc một ý tưởng AI tốt bị biến thành hàng hóa nhanh đến mức nào hiện nay.
Nó ra mắt vào ngày 15 tháng 9. Trong vòng hai tuần, OpenAI, Databricks + Cloudflare đã nhanh chóng phát hành các sản phẩm xoay quanh cùng một primitive. Clef-flash của Cloudflare thậm chí còn tương thích với Jev và tuyên bố có độ trễ trung vị thấp hơn khoảng 13 lần.
Vì vậy, nhu cầu không phải là vấn đề. Ý tưởng này đơn giản là quá dễ bị hấp thụ một khi mọi người thấy nó hoạt động.
Có cảm giác lợi thế phòng thủ ở đây phải nằm ở vòng lặp phản hồi, dữ liệu độc quyền + khả năng phân phối.
Je

Cùng một harness của Deepseek, cùng một chỉ dẫn ngắn và:
Deepseek-v4-flash đạt 0,52 điểm trên BIABench.
Claude Opus 5 đạt 0,65.
Vì vậy, chi phí cao hơn khoảng 50 lần chỉ mang lại thêm 0,13 điểm trên 16 tác vụ phân tích ảnh sinh học thực tế.
Và phần đuôi tệ hại hầu như không cải thiện. Một số tác vụ 3D + chuỗi thời gian vẫn dưới 0,19 ở mọi agent, trong khi việc chạy lại cùng một mô hình có thể tạo ra khác biệt lớn hơn cả việc chuyển hẳn sang mô hình khác.
Có lẽ tôi sẽ dùng mô hình giá rẻ cho khối lượng công việc thường lệ, sau đó chuyển các trường hợp không chắc chắn cho con người hoặc các công

Google có một vòng lặp khá bất công với Argon so với phần còn lại của các phòng thí nghiệm AI tiên phong
họ sở hữu các TPU bên dưới Argon và có thể đưa mô hình thẳng vào các API vốn đang xử lý khoảng 22 tỷ token/phút.
Đó là một hệ thống khá ấn tượng.
Xây dựng chip -> huấn luyện mô hình -> đưa mô hình vào hệ thống phân phối rộng đến phi lý -> đưa lợi ích thu được trở lại lần chạy tiếp theo.
Và Argon cũng đã cải thiện chính hệ thống xung quanh nó, giải phóng hơn 300 TiB bộ nhớ trung tâm dữ liệu bằng cách chuyển hơn 800 nghìn dòng từ C/C++ sang Rust và đẩy một quy trình điện toán lượng tử vượt 40

.@AnthropicAI S-1 khá thú vị vì hoạt động kinh doanh đang phát triển gần như quá nhanh so với chính bản hồ sơ.
Doanh thu năm 2025 là khoảng 4,6 tỷ USD. Riêng Q2/2026 đã đạt khoảng 11,5 tỷ USD, và đến cuối tháng 7, ARR được cho là đã vượt 65 tỷ USD.
Sau đó, bạn có khoảng 80 trang về các yếu tố rủi ro so với 48 trang về hoạt động kinh doanh thực tế, một công bố cho biết khoảng 6% tài nguyên tính toán nghiên cứu AI đã được dành cho công tác an toàn trong một tuần được lấy mẫu, cùng một thừa nhận khá thẳng thắn rằng việc phát hành các mô hình liên tục và chồng lấn về cơ bản là bắt buộc để duy trì

Mức độ tiếp nhận AI gần như không tăng trong năm nay. Chi tiêu của người tiêu dùng vẫn tăng từ ~$12B → 40 tỷ USD.
Đó là một tín hiệu thú vị hơn nhiều so với một cột mốc khác về số lượng người dùng.
Mức độ tiếp nhận tại Mỹ chỉ tăng từ 61% → 64%. Số người dùng toàn cầu tăng khoảng 11%.
Những người dùng hiện tại chỉ mới bắt đầu giao phó cho AI nhiều phần hơn trong cuộc sống của họ.
41% đã dùng thử một tác nhân AI. 32% đã cho phép AI hành động mà không cần phê duyệt lần cuối. Và 92% người dùng tác nhân AI đang trả phí cho AI.
Vì vậy, bước phát triển tiếp theo của AI dành cho người tiêu dùng có lẽ