All In Podcast tập mới nhất, các chuyên gia bàn về Micron, nút thắt lưu trữ, mô hình mã nguồn mở Trung Quốc và suy luận phân tán

Tập này của All In Podcast có khá nhiều thông tin, tôi chọn ra một vài chủ đề đáng chia sẻ nhất để tổng hợp lại.
Trước hết là về mô hình mã nguồn mở Trung Quốc, tiến độ nhanh hơn tưởng tượng
Zhipu AI đã phát hành mô hình mã nguồn mở cấp Frontier thế hệ mới GLM 5.2, với 744 tỷ tham số, ngữ cảnh 100 triệu token, hoàn toàn theo giao thức mã nguồn mở MIT. Dữ liệu đánh giá khá ấn tượng: trong bài kiểm tra lập trình kỹ thuật phần mềm, nó đã đánh bại GPT-5.5, chỉ kém Claude Opus 4.8 hàng đầu của Anthropic chưa đến 1%, nhưng giá API lại rẻ hơn tới 85% so với các mô hình Mỹ có hiệu suất tương đương.
Có một chi tiết thú vị trong chương trình, nói về một phương pháp mà các đội ngũ Trung Quốc đang đẩy nhanh tốc độ bắt kịp: sử dụng hàng ngàn điện thoại và iPad tạo thành trang trại thiết bị, dùng tài khoản mã hóa để gửi truy vấn mật độ cao đến API của các mô hình Frontier hàng đầu Mỹ, thu thập chuỗi suy luận của họ, rồi đưa vào huấn luyện tăng cường cho mô hình mã nguồn mở của mình. Điều này tương đương với việc dùng các câu trả lời chuẩn mà phòng thí nghiệm Mỹ tốn kém chi phí để chạy ra làm "phao", đạt được hiệu suất gần tương đương với chi phí rất thấp.
Sacks có thái độ khá gay gắt về điều này, ông chỉ trích việc Dario của Anthropic trước đây thúc đẩy chính phủ Mỹ thiết lập quy trình phê duyệt an ninh rườm rà, sự tự giới hạn này lại làm chậm nhịp độ của chính Mỹ. Mô hình Fable bị buộc phải gỡ bỏ vì cáo buộc vượt ngục, mô hình mới của OpenAI cũng khó được phê duyệt. Nhận định của ông là mô hình Trung Quốc hiện tụt hậu về công nghệ khoảng 9 tháng, về chip khoảng 24 tháng, nhưng đã hoàn thành huấn luyện dòng GLM5 bằng chip nội địa như Huawei Ascend. Trong tương lai, các "hộp AI" được tối ưu hóa cho chip nội địa, rẻ và tiện dụng này có thể sẽ được bán phá giá ra thị trường toàn cầu, trong khi Mỹ tự đặt ra nhiều hạn chế, vô tình nhường lại thị trường xuất khẩu nghìn tỷ đô la này.
Báo cáo tài chính lần này của Micron, chương trình đã đưa ra một định vị chính xác: DRAM mới thực sự là nút thắt cổ chai của toàn bộ làn sóng AI
Doanh thu quý này của Micron tăng gấp bốn lần so với cùng kỳ, từ 90 tỷ lên 420 tỷ, dự báo vượt xa kỳ vọng, công suất HBM năm 2026 đã bán hết từ lâu.
Có một quan điểm trong chương trình khá thẳng thắn: Trước đây mọi người trên Twitter tìm đủ loại công ty phụ kiện nhỏ Nhật Bản coi là "cổ phiếu nút thắt", nhưng mạch máu thực sự chỉ có DRAM, đặc biệt là HBM. Lý do rất đơn giản: băng thông và dung lượng bộ nhớ quyết định trần vật lý của hiệu suất suy luận mô hình lớn, đây là ràng buộc cứng, không thể né tránh. Thậm chí còn đề cập đến siêu nhà máy mà Musk đang xây dựng, cốt lõi kỹ thuật cũng nhắm vào DRAM, không phải cáp quang, nguồn điện hay bộ nhớ flash NAND.
Micron lần này cũng có một thay đổi thú vị trong mô hình kinh doanh: ký thỏa thuận cung cấp dài hạn với các nhà cung cấp dịch vụ đám mây cốt lõi, có bảo vệ "giá trần và giá sàn", khóa 50% doanh thu tương lai. Điều này có nghĩa là ngay cả khi chu kỳ ngành đi xuống trong tương lai, giá bảo vệ tối thiểu theo hợp đồng cũng cao hơn đỉnh lợi nhuận gộp của bất kỳ chu kỳ nào trong quá khứ.
Về rào cản gia nhập, mặc dù ChangXin Memory của Trung Quốc đang chuẩn bị niêm yết, có thể trong tương lai sẽ dùng bộ nhớ tiêu dùng trung cấp và thấp cấp giá rẻ để giảm áp lực chi phí cho các hãng lớn như Apple, nhưng trong lĩnh vực HBM cấp cao nhất cần cho máy chủ AI, toàn cầu hiện chỉ có ba nhà sản xuất là Micron, SK Hynix và Samsung có thể sản xuất, quy trình cực kỳ khó, không thể bắt kịp trong ngắn hạn.
Chương trình đưa ra một dự báo khá phóng đại: Trong tổng chi tiêu vốn siêu quy mô toàn cầu năm sau, 30% đến 40% sẽ trực tiếp chảy vào các nhà sản xuất chip DRAM. Sự tăng vọt chi phí này đã khiến Apple tăng giá bán lẻ toàn bộ dòng MacBook và Mac Studio.
Phần về điện toán biên và suy luận phân tán, đây là nội dung giàu trí tưởng tượng nhất trong tập này, tôi chia sẻ một vài ý tưởng thú vị
Ngày 18 tháng 6, Tesla đã đăng ký một nhãn hiệu phần cứng tên là "Megapod". Logic vật lý đằng sau là: Xây dựng một trung tâm dữ liệu 1 gigawatt trên mặt đất đòi hỏi quy trình phê duyệt đất đai, năng lượng, làm mát bằng chất lỏng cực kỳ dài. Ý tưởng Megapod là tích hợp GPU, mạng pin và hệ thống làm mát vào một mô-đun trung tâm dữ liệu dạng container, thả trực tiếp vào mạng lưới trạm siêu sạc Tesla đã được phê duyệt, có lưới điện sẵn có và đất trống, qua đó vượt qua nút thắt lớn nhất trong xây dựng trung tâm dữ liệu truyền thống - phê duyệt và kết nối điện.
Logic của suy luận phân tán cũng khá thú vị: Câu trả lời của mô hình có thể được chia thành hai giai đoạn, giai đoạn Prefill hiểu câu hỏi và giai đoạn Decode tiêu tốn băng thông cao và bộ nhớ lớn. Các quỹ lớn có thể mua lại card đồ họa cũ đã khấu hao, gắn thêm chip chuyên dụng tối ưu hóa giải mã ở phía trước, tạo thành mạng suy luận phân tán chi phí thấp hơn.
Một ý tưởng điên rồ hơn là trong tương lai, cung cấp giảm giá cho người dùng mua pin lưu trữ năng lượng Powerwall, bắt buộc tích hợp chip AI vào mỗi pin, kết hợp với kết nối vệ tinh Starlink, khi pin không được sử dụng sẽ tự động tạo thành một bể suy luận P2P phân tán khổng lồ, thu được sức mạnh tính toán ngoài khơi gần như miễn phí. Nếu ý tưởng này thực sự được thực hiện, nó sẽ là một đòn giáng mạnh vào các ông lớn đám mây truyền thống.
Phần điên rồ nhất là sức mạnh tính toán ngoài không gian. Xây dựng trung tâm dữ liệu 1 gigawatt trên mặt đất cần 35 tỷ đô la chi phí chip cộng 25 tỷ đô la chi phí làm mát nhân công, cùng với nhiều tranh cãi về đất đai. Nhưng với việc Starship của SpaceX đạt được khả năng tái sử dụng hoàn toàn, chi phí đưa sức mạnh tính toán 1 gigawatt lên quỹ đạo không gian thông qua kết nối laser có thể giảm mạnh xuống chỉ còn 5 tỷ đô la. Môi trường lạnh giá tự nhiên và năng lượng mặt trời gần như vô hạn trong không gian có thể khiến kinh tế vận hành của trung tâm dữ liệu không gian vượt qua trung tâm dữ liệu mặt đất trong vòng 3 đến 4 năm.