Bỏ lỡ Nvidia, đừng bỏ lỡ Crypto AI nữa

Tiêu đề gốc: Our Crypto AI Thesis (Phần II): Tính toán phi tập trung là Vua

Tác giả gốc: Teng Yan, nhà nghiên cứu mã hóa

原文编译：深潮 TechFlow

Chào buổi sáng! Nó cuối cùng đã đến.

Chúng tôi có rất nhiều nội dung cho bài báo và để giúp mọi người dễ hiểu hơn (và tránh vượt quá giới hạn kích thước của nhà cung cấp email), tôi đã quyết định chia nhỏ nó thành nhiều phần và chia sẻ nó trong tháng tới. Bây giờ, hãy bắt đầu!

Một sự mất mát lớn mà tôi không thể quên mãi mãi.

Sự việc này ám ảnh tôi cho đến tận bây giờ vì đó là một cơ hội hiển nhiên mà bất cứ ai trong chợ Theo dõi cũng có thể nhìn thấy, nhưng tôi đã bỏ lỡ nó mà không đầu tư một xu.

Không, đây không phải là kẻ giết Solana tiếp theo, cũng không phải là một đồng tiền memecoin của một con chó đội mũ hài hước.

Nó là...NVIDIA.

Hiệu suất giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google

Chỉ trong vòng một năm, vốn hóa thị trường của NVIDIA đã tăng từ 1 nghìn tỷ Mỹ kim lên 3 nghìn tỷ Mỹ kim, giá cổ phiếu tăng gấp ba lần, thậm chí vượt qua cả BTC trong cùng một thời kỳ.

Tất nhiên, một phần là do sự thúc đẩy của cơn sốt trí tuệ nhân tạo. Nhưng quan trọng hơn, điều quan trọng hơn là tăng lên này có cơ sở hiện thực vững chắc. NVIDIA đã đạt doanh thu 600 tỷ đô la trong năm tài chính 2024, tăng lên 126% so với năm 2023. Đằng sau sự tăng lên đáng kinh ngạc này, là cuộc đua giành ưu thế trong cuộc đua vũ trang Trí tuệ Nhân tạo Chung (AGI) toàn cầu của các công ty công nghệ lớn để mua GPU.

Tại sao tôi lại bỏ lỡ?

过去两年，我的注意力完全集中在Tài sản tiền điện tử领域，没有theo dõi AI 领域的动态。这是一个巨大的失误，至今让我懊悔。

Nhưng lần này, tôi sẽ không phạm sai lầm tương tự nữa.

Crypto AI hôm nay mang lại cho tôi cảm giác quen thuộc.

Chúng ta đang đứng trên bờ vực của một cơn bùng nổ sáng tạo. Nó có nhiều điểm tương đồng đáng kinh ngạc với sự bùng nổ của đời sống tại California vào giữa thế kỷ 19 - ngành công nghiệp và thành phố nổi lên qua đêm, cơ sở hạ tầng phát triển nhanh chóng, và những người dám mạo hiểm kiếm được rất nhiều tiền.

Như cách NVIDIA sớm đầu tư vào Crypto AI, trong tương lai sẽ trở nên rõ ràng như vậy.

Crypto AI: Cơ hội đầu tư vô hạn

· Rất nhiều người vẫn coi nó như một 'lâu đài trên không'.

· Crypto AI hiện đang ở giai đoạn sớm, có thể còn mất 1-2 năm để đạt đến đỉnh cao của sự bùng nổ.

· Lĩnh vực này có tiềm năng tăng lên ít nhất 2300 tỷ đô la.

Crypto AI là sự kết hợp giữa Trí tuệ nhân tạo và cơ sở hạ tầng mã hóa. Điều này làm cho nó có khả năng phát triển theo hướng tăng lên theo đường cong mũ của Trí tuệ nhân tạo, chứ không phải theo thị trường mã hóa rộng hơn. Do đó, để duy trì sự dẫn đầu, bạn cần theo dõi các nghiên cứu Trí tuệ nhân tạo mới nhất trên Arxiv và giao tiếp với những người sáng lập tin tưởng họ đang xây dựng sự kiện lớn tiếp theo.

Bốn lĩnh vực cốt lõi của Crypto AI

Trong phần thứ hai của luận văn của tôi, tôi sẽ tập trung phân tích bốn lĩnh vực con tiềm năng nhất trong Crypto AI:

1.Phi tập trung计算：模型训练、推理与 GPU 交易市场

2. Mạng dữ liệu

3. AI có thể được xác minh

4.在on-chain运行的 AI 智能体

Bài đăng này là đỉnh cao của nhiều tuần nghiên cứu chuyên sâu và các cuộc trò chuyện với những người sáng lập và nhóm trong không gian Crypto AI. Nó không phải là một phân tích chi tiết về từng lĩnh vực, mà là một lộ trình cấp cao được thiết kế để khơi dậy sự tò mò của bạn, giúp bạn tinh chỉnh hướng nghiên cứu và hướng dẫn các quyết định đầu tư của bạn.

Sơ đồ sinh thái của Crypto AI

Tôi tưởng tượng hệ sinh thái Phi tập trung AI như một cấu trúc phân tầng: bắt đầu từ mạng tính toán và dữ liệu mở của Phi tập trung ở một đầu, điều này cung cấp cơ sở cho việc đào tạo mô hình AI của Phi tập trung.

Tất cả đầu vào và đầu ra của tất cả các suy luận đều được xác minh thông qua mã hóa, động viên kinh tế và mạng đánh giá. Các kết quả đã được xác minh này chảy vào on-chain tự chạy của các tác nhân thông minh AI, cũng như ứng dụng AI cho người tiêu dùng và doanh nghiệp có thể tin cậy.

Mạng lưới phối hợp kết nối toàn bộ hệ sinh thái, thực hiện giao tiếp và hợp tác mượt mà.

Trong tầm nhìn này, bất kỳ nhóm phát triển AI nào cũng có thể truy cập một hoặc nhiều cấp độ trong hệ sinh thái dựa trên nhu cầu của mình. Cho dù là sử dụng tính toán Phi tập trung để huấn luyện mô hình, hay thông qua việc đánh giá mạng để đảm bảo đầu ra chất lượng cao, hệ sinh thái này cung cấp nhiều lựa chọn đa dạng.

Nhờ tính linh hoạt của blockchain, tôi tin rằng chúng ta đang tiến tới một tương lai có tính module. Mỗi tầng sẽ được chuyên nghiệp hóa cao độ, giao thức sẽ được tối ưu hóa cho chức năng cụ thể thay vì sử dụng các giải pháp tích hợp.

Trong những năm gần đây, đã xuất hiện rất nhiều công ty khởi nghiệp trong mỗi tầng của bộ công nghệ trí tuệ nhân tạo Phi tập trung, cho thấy sự bùng nổ theo cách của kỷ Cambri. Đa phần các công ty được thành lập chỉ trong vòng 1-3 năm. Điều này cho thấy rằng: Chúng ta vẫn đang ở giai đoạn sớm của ngành này.

Trong các biểu đồ sinh thái Crypto AI mà tôi đã nhìn thấy, phiên bản toàn diện và mới nhất do Casey của topology.vc và nhóm của cô ấy duy trì. Đây là một tài nguyên không thể thiếu đối với bất kỳ ai muốn theo dõi sự phát triển trong lĩnh vực này.

Khi tôi nghiên cứu sâu hơn vào từng lĩnh vực con của Crypto AI, tôi luôn tự hỏi: cơ hội ở đây thực sự lớn đến mức nào? Tôi không theo dõi các thị trường nhỏ, mà là những cơ hội khổng lồ có thể mở rộng lên đến hàng trăm tỷ đô la.

1. Quy mô thị trường

Khi đánh giá quy mô thị trường, tôi sẽ tự hỏi: lĩnh vực con này đã tạo ra một thị trường hoàn toàn mới hay đang làm đảo lộn một thị trường hiện có?

Lấy Phi tập trung tính toán làm ví dụ, đây là một lĩnh vực đột phá điển hình. Chúng ta có thể ước tính tiềm năng của nó thông qua thị trường tính toán đám mây hiện có. Hiện tại, kích thước thị trường tính toán đám mây khoảng 6800 tỷ đô la, dự kiến ​​sẽ đạt 25 nghìn tỷ đô la vào năm 2032.

Ngược lại, các thị trường mới như đại lý AI khó định lượng hơn. Do thiếu dữ liệu lịch sử, chúng ta chỉ có thể ước tính dựa trên các phán đoán trực quan và suy đoán hợp lý về khả năng giải quyết vấn đề của nó. Tuy nhiên, điều quan trọng là phải cảnh giác rằng đôi khi những gì dường như là một sản phẩm của một thị trường hoàn toàn mới thực sự có thể là sản phẩm của việc "tìm giải pháp cho một vấn đề".

2. Thời điểm

Thời điểm là yếu tố quan trọng để thành công. Mặc dù công nghệ thường được cải tiến và trở nên rẻ hơn theo thời gian, tuy nhiên tốc độ tiến bộ trong các lĩnh vực khác nhau lại không giống nhau.

Trong một lĩnh vực con nào đó, độ chín của công nghệ như thế nào? Nó đã đủ chín chưa để triển khai quy mô lớn? Hay vẫn đang ở giai đoạn nghiên cứu và cách ứng dụng thực tế còn mấy năm? Thời điểm quyết định liệu lĩnh vực đó có đáng để theo dõi ngay lập tức hay nên tạm thời đứng ngoài quan sát.

Lấy Mã hóa đồng cấu hoàn toàn (FHE) làm ví dụ: tiềm năng của nó là không thể phủ nhận, nhưng hiệu suất công nghệ hiện tại vẫn còn quá chậm để đạt được việc áp dụng quy mô lớn. Có thể mất một vài năm trước khi chúng ta thấy nó gia nhập thị trường chính thống. Do đó, tôi sẽ ưu tiên những lĩnh vực mà công nghệ đã gần được áp dụng hàng loạt, tập trung thời gian và năng lượng của tôi vào những cơ hội đang xây dựng động lực.

Nếu vẽ các lĩnh vực con này trên một biểu đồ 'Quy mô thị trường so với Cơ hội', có thể có cấu trúc như sau. Lưu ý đây chỉ là một bản vẽ khái niệm, không phải là hướng dẫn chính thức. Mỗi lĩnh vực cũng có sự phức tạp bên trong - ví dụ, trong suy luận có thể xác minh, các phương pháp khác nhau như zkML và opML đang ở giai đoạn chín muồi về mặt công nghệ.

Tuy nhiên, tôi tin rằng quy mô tương lai của AI sẽ rất lớn. Ngay cả trong lĩnh vực hiện nay có vẻ như là "đặc biệt", cũng có thể trở thành một thị trường quan trọng trong tương lai.

Đồng thời, chúng ta cũng cần nhận ra rằng tiến bộ công nghệ không phải lúc nào cũng phát triển tuyến tính - thường tiến bộ theo cách nhảy vọt. Khi xuất hiện các tiến bộ công nghệ mới, quan điểm của tôi về thị trường và quy mô cũng sẽ điều chỉnh theo.

Dựa trên khung trên, chúng tôi sẽ tiếp tục phân tích từng lĩnh vực con của Crypto AI, khám phá tiềm năng phát triển và cơ hội đầu tư của chúng.

领域 1：Phi tập trung计算

Tổng kết

· Phi tập trung tính toán là trụ cột chính của toàn bộ trí tuệ nhân tạo Phi tập trung.

· Thị trường GPU, đào tạo Phi tập trung và suy luận Phi tập trung tương hỗ, phát triển cùng nhau.

· Người cung cấp chủ yếu đến từ trung tâm dữ liệu quy mô nhỏ và trang thiết bị GPU của người tiêu dùng thông thường.

· Phía nhu cầu hiện tại có quy mô nhỏ, nhưng đang tăng dần lên, chủ yếu bao gồm những người nhạy cảm với giá cả, không yêu cầu trễ và một số công ty khởi nghiệp AI quy mô nhỏ.

Thách thức lớn nhất đang đối diện với thị trường GPU Web3 hiện tại là làm thế nào để mạng lưới này hoạt động hiệu quả thực sự.

· Trong mạng lưới Phi tập trung, việc điều phối việc sử dụng GPU đòi hỏi công nghệ kỹ thuật tiên tiến và thiết kế kiến trúc mạng lưới vững chắc.

1.1 Thị trường GPU / Mạng tính toán

Hiện tại, một số nhóm Crypto AI đang xây dựng mạng lưới GPU Phi tập trung để tận dụng các nguồn lực tính toán chưa được sử dụng đầy đủ trên toàn cầu, để đối phó với tình trạng cung cấp GPU kém hơn nhu cầu nhiều.

Những giá trị cốt lõi của thị trường GPU này có thể tóm gọn thành ba điểm sau:

Chi phí tính toán có thể thấp hơn đáng kể so với AWS lên đến 90%. Sự giảm chi phí này đến từ hai phía: một là loại bỏ trung gian, hai là mở cửa phía cung cấp. Những thị trường này cho phép người dùng tiếp cận tài nguyên tính toán có chi phí biên giảm nhất trên toàn cầu.

1. Không cần ký hợp đồng dài hạn, không cần xác minh danh tính (KYC), không cần chờ duyệt.

2. Khả năng chống kiểm duyệt

3. Để giải quyết phía cung của thị trường, các thị trường này lấy tài nguyên tính toán từ các nguồn sau:

· GPU cấp doanh nghiệp: Ví dụ như A100 và H100, GPU hiệu suất cao này thường đến từ các trung tâm dữ liệu quy mô nhỏ và trung bình (khó tìm đủ khách hàng khi họ hoạt động độc lập), hoặc từ BTCNgười khai thác mong muốn đa dạng hóa nguồn thu nhập. Ngoài ra, cũng có một số nhóm đang tận dụng các dự án cơ sở hạ tầng lớn được tài trợ bởi chính phủ, những dự án này xây dựng nhiều trung tâm dữ liệu là một phần của sự phát triển công nghệ. Những nhà cung cấp này thường sẽ được khuyến khích tiếp tục kết nối GPU vào mạng để giúp bù đắp chi phí khấu hao của thiết bị.

· Card đồ hoạ dành cho người tiêu dùng: Hàng triệu game thủ và người dùng gia đình kết nối máy tính của mình vào mạng và nhận phần thưởng bằng Token.

Hiện tại, nhu cầu tính toán Phi tập trung chủ yếu bao gồm các loại người dùng sau đây:

1.Đối với người dùng nhạy cảm với giá và không yêu cầu cao về Trễ: Ví dụ như các nhà nghiên cứu có ngân sách hạn chế, các nhà phát triển trí tuệ nhân tạo độc lập, v.v. Họ quan trọng hơn theo dõi chi phí hơn là khả năng xử lý theo thời gian thực. Do hạn chế về ngân sách, họ thường khó có thể đối phó với các chi phí cao của các đại gia dịch vụ đám mây truyền thống (như AWS hoặc Azure). Tiếp thị chính xác đối với nhóm đối tượng này rất quan trọng.

2. Các công ty khởi nghiệp nhỏ về trí tuệ nhân tạo (AI): Những công ty này cần tài nguyên tính toán linh hoạt và có khả năng mở rộng, nhưng không muốn ký hợp đồng dài hạn với các nhà cung cấp dịch vụ đám mây lớn. Để thu hút nhóm này, cần tăng cường hợp tác kinh doanh vì họ đang tích cực tìm kiếm các giải pháp thay thế ngoài việc tính toán đám mây truyền thống.

3.Crypto AI Startups: These startups are developing Phi tập trung AI products, but if they don't have their own computing resources, they need to rely on these Phi tập trung networks.

4. Trò chơi đám mây: Mặc dù không có liên quan trực tiếp đến trí tuệ nhân tạo, nhưng nhu cầu tài nguyên GPU của trò chơi đám mây đang tăng lên nhanh chóng.

Một điểm quan trọng cần nhớ là: nhà phát triển luôn ưu tiên chi phí và đáng tin cậy。

Thách thức thực sự: nhu cầu, chứ không phải cung cấp

Nhiều công ty khởi nghiệp coi quy mô mạng cung cấp GPU là chỉ số thành công, nhưng thực tế đó chỉ là một 'chỉ số đánh hối'.

Điểm chật chội thực sự nằm ở phía nhu cầu, chứ không phải là phía cung cấp. Chỉ số quan trọng để đo lường thành công không phải là có bao nhiêu GPU trong mạng, mà là tỷ lệ sử dụng GPU và số lượng GPU thực sự được thuê.

Cơ chế khuyến khích Token rất hiệu quả trong khởi động phía cung cấp, có thể thu hút nhanh chóng các nguồn lực tham gia vào mạng lưới. Tuy nhiên, chúng không thể giải quyết trực tiếp vấn đề cung không đủ. Thật sự thử thách là có thể hoàn thiện sản phẩm đến mức đủ tốt để kích thích nhu cầu tiềm năng.

Như Haseeb Qureshi (từ Dragonfly) đã nói, đây mới là điều quan trọng.

Đưa mạng tính toán vào hoạt động thực sự

Hiện tại, thách thức lớn nhất đối với thị trường GPU phân tán Web3 thực sự là làm thế nào để mạng này hoạt động hiệu quả.

Điều này không phải là một việc đơn giản.

Điều phối GPU trong mạng phân tán là một nhiệm vụ cực kỳ phức tạp, liên quan đến nhiều vấn đề kỹ thuật như phân bổ tài nguyên, mở rộng tải công việc động, cân bằng tải cho Nút và GPU, quản lý Trễ, truyền dữ liệu, khả năng chống lỗi và cách xử lý các thiết bị phần cứng đa dạng được phân tán trên khắp thế giới. Những vấn đề này chồng chéo lên nhau, tạo thành những thách thức kỹ thuật lớn.

Giải quyết những vấn đề này đòi hỏi kỹ năng kỹ thuật rất vững chắc, cũng như kiến trúc mạng mạnh mẽ và được thiết kế tốt.

Để hiểu rõ hơn vấn đề này, có thể tham khảo hệ thống Kubernetes của Google. Kubernetes được coi là tiêu chuẩn vàng trong lĩnh vực triển khai và quản lý container, nó tự động xử lý các nhiệm vụ như cân bằng tải và mở rộng trong môi trường phân tán, các vấn đề này tương tự những thách thức mà mạng GPU phân tán đối mặt. Đáng lưu ý, Kubernetes được phát triển dựa trên kinh nghiệm tính toán phân tán của Google trong hơn 10 năm, và mất nhiều năm qua các phiên bản liên tục mới được hoàn thiện.

Hiện tại, một số thị trường tính toán GPU đã được triển khai có thể xử lý các tải công việc nhỏ, nhưng khi cố gắng mở rộng lên quy mô lớn hơn, vấn đề sẽ được tiết lộ. Điều này có thể do thiếu sót cơ bản trong thiết kế kiến trúc của chúng.

Vấn đề về tính đáng tin cậy: Thách thức và Cơ hội

Một vấn đề quan trọng mà mạng tính toán Phi tập trung khác cần giải quyết là làm thế nào để đảm bảo tính đáng tin cậy của Nút, tức là làm thế nào để xác minh xem mỗi Nút có thực sự cung cấp khả năng tính toán mà nó tuyên bố. Hiện nay, quá trình xác minh này chủ yếu dựa trên hệ thống danh tiếng của mạng, đôi khi các nhà cung cấp tính toán sẽ được xếp hạng dựa trên điểm danh tiếng. Công nghệ blockchain có lợi thế tự nhiên trong lĩnh vực này vì nó có thể thực hiện cơ chế xác minh không đòi hỏi sự tin tưởng. Một số công ty khởi nghiệp như Gensyn và Spheron đang nghiên cứu cách giải quyết vấn đề này thông qua các phương pháp không đòi hỏi sự tin tưởng.

Hiện tại, nhiều nhóm Web3 vẫn đang cố gắng đối phó với những thách thức này, đồng nghĩa với việc cơ hội trong lĩnh vực này vẫn rất rộng lớn.

Kích thước thị trường tính toán Phi tập trung

那么，Phi tập trung计算网络的市场到底有多大？

Hiện tại, nó có thể chỉ chiếm một phần rất nhỏ trong thị trường điện toán đám mây toàn cầu, khoảng 680 tỷ đến 2,5 nghìn tỷ USD. Tuy nhiên, miễn là chi phí của điện toán Phi tập trung thấp hơn so với các nhà cung cấp dịch vụ đám mây truyền thống, chắc chắn sẽ có nhu cầu, ngay cả khi có thêm một số ma sát trong trải nghiệm người dùng.

Tôi cho rằng, trong thời gian ngắn đến trung hạn, chi phí tính toán Phi tập trung vẫn sẽ duy trì ở mức thấp. Điều này chủ yếu nhờ hai yếu tố: một là Token được hỗ trợ, hai là cung cấp được mở khóa từ người dùng không nhạy cảm với giá. Ví dụ, nếu tôi có thể cho thuê máy tính xách tay chơi game của mình để kiếm thêm thu nhập, dù là 20 đô la mỗi tháng hay 50 đô la mỗi tháng, tôi cũng sẽ cảm thấy hài lòng.

Phi tập trung计算网络的真正tăng lên潜力，以及其市场规模的显著扩展，将依赖以下几个关键因素：

1. Khả năng huấn luyện mô hình AI Phi tập trung: Khi mạng Phi tập trung có thể hỗ trợ huấn luyện mô hình AI, sẽ mang lại nhu cầu thị trường lớn.

2. Sự bùng nổ của nhu cầu suy luận: Với sự bùng nổ của nhu cầu suy luận AI, các trung tâm dữ liệu hiện có có thể không đáp ứng được nhu cầu này. Trên thực tế, xu hướng này đã bắt đầu phát triển. Jensen Huang của NVIDIA cho biết, nhu cầu suy luận sẽ tăng lên "bằng tỷ lệ cực lớn".

3. Giới thiệu các cấp độ dịch vụ (SLA): Hiện tại, điện toán Phi tập trung chủ yếu được cung cấp trên cơ sở "nỗ lực tốt nhất" và người dùng có thể phải đối mặt với sự không chắc chắn về chất lượng dịch vụ (chẳng hạn như thời gian hoạt động). Với SLA tại chỗ, các mạng này có thể cung cấp các chỉ số hiệu suất và độ tin cậy được tiêu chuẩn hóa, phá vỡ các rào cản chính đối với việc áp dụng doanh nghiệp và làm cho điện toán Phi tập trung trở thành một giải pháp thay thế khả thi cho điện toán đám mây truyền thống.

Phi tập trung, tính toán phi cần phép là một trong những tầng cơ sở của hệ sinh thái trí tuệ nhân tạo Phi tập trung và cũng là một trong những cơ sở hạ tầng quan trọng nhất.

Mặc dù phần cứng như GPU không ngừng mở rộng, tôi tin rằng chúng ta vẫn đang ở buổi bình minh của "kỷ nguyên trí tuệ con người". Trong tương lai, nhu cầu về sức mạnh tính toán sẽ là vô tận.

Vui lòng theo dõi điểm uốn quyết định quan trọng có thể kích hoạt việc định giá lại thị trường GPU - điểm uốn này có thể sớm đến.

Lưu ý khác:

· Thị trường GPU thuần túy cạnh tranh rất gay gắt, không chỉ có sự cạnh tranh giữa các nền tảng Phi tập trung mà còn đối mặt với sự trỗi dậy mạnh mẽ của các nền tảng đám mây AI Web2 mới (như Vast.ai và Lambda).

· Vì ứng dụng hạn chế, nhu cầu thị trường của Nút nhỏ (ví dụ như 4 GPU H100) không lớn. Nhưng nếu bạn muốn tìm nhà cung cấp bán các cụm lớn, thì hầu như là không thể bởi vì nhu cầu của chúng vẫn rất cao.

· Nguồn cung cấp tài nguyên máy tính của Phi tập trunggiao thức sẽ được củng cố bởi một người chơi thống trị, hay nó sẽ tiếp tục được phân tán trên nhiều thị trường? Tôi thích cái trước hơn, và nghĩ rằng kết quả cuối cùng sẽ là phân phối luật quyền lực, bởi vì hợp nhất có xu hướng cải thiện hiệu quả của cơ sở hạ tầng. Tất nhiên, quá trình này sẽ mất thời gian, và trong thời gian này, sự phân mảnh và hỗn loạn của thị trường sẽ tiếp tục.

Nhà phát triển muốn tập trung vào việc xây dựng ứng dụng thay vì phải dành thời gian để xử lý vấn đề triển khai và cấu hình. Do đó, thị trường tính toán cần đơn giản hóa những phức tạp này và giảm thiểu cản trở cho người dùng khi truy cập tài nguyên tính toán.

1.2 Phi tập trung训练

Tổng kết

· Nếu quy luật mở rộng (Scaling Laws) thành công, thì trong tương lai việc huấn luyện mô hình AI tiên tiến thế hệ tiếp theo trong một trung tâm dữ liệu duy nhất sẽ trở nên không khả thi về mặt vật lý.

· Đào tạo mô hình AI đòi hỏi việc truyền dữ liệu giữa các GPU một cách rất lớn, trong đó tốc độ kết nối phân tán GPU thường là rào cản công nghệ lớn nhất.

· Nhóm nghiên cứu đang khám phá nhiều giải pháp và đã đạt được một số tiến bộ đáng chú ý (như Open DiLoCo và DisTrO). Những đổi mới công nghệ này sẽ có hiệu ứng tăng cường, làm gia tăng sự phát triển của việc đào tạo Phi tập trung.

Tương lai của việc đào tạo Phi tập trung có thể tập trung nhiều hơn vào các mô hình nhỏ, chuyên dụng được thiết kế cho các lĩnh vực cụ thể thay vì các mô hình tiên tiến dành cho AGI.

Với sự phổ biến của các mô hình như o1 của OpenAI, nhu cầu suy luận sẽ tăng lên một cách bùng nổ, đồng thời tạo ra cơ hội lớn cho mạng suy luận Phi tập trung.

Hãy tưởng tượng: một mô hình AI khổng lồ, thay đổi thế giới, không được phát triển bởi một phòng thí nghiệm bí mật hiện đại, mà bởi hàng triệu người bình thường. GPU của game thủ không còn chỉ được sử dụng để hiển thị đồ họa tuyệt vời của Call of Duty, mà đang được sử dụng để hỗ trợ một mục tiêu lớn hơn nhiều - một mô hình AI mã nguồn mở, thuộc sở hữu chung mà không có bất kỳ người gác cổng tập trung nào.

Trong tương lai như thế này, mô hình AI quy mô cơ bản không còn là lĩnh vực độc quyền của các phòng thí nghiệm hàng đầu mà là kết quả của sự tham gia của mọi người.

Nhưng trở lại thực tế, hiện tại hầu hết việc huấn luyện trí tuệ nhân tạo trọng tâm vẫn tập trung tại trung tâm dữ liệu tập trung, xu hướng này có thể không thay đổi trong một khoảng thời gian tương lai.

Các công ty như OpenAI đang liên tục mở rộng quy mô cụm GPU lớn của họ. Elon Musk gần đây tiết lộ rằng xAI sẽ sớm hoàn thành một trung tâm dữ liệu, với tổng số GPU tương đương với 20.000 H100.

Nhưng vấn đề không chỉ là số lượng GPU. Trong bài báo năm 2022, Google đã đề xuất một chỉ số quan trọng - tỉ lệ tận dụng FLOPS của mô hình (Model FLOPS Utilization, MFU), để đo lường tỉ lệ tận dụng thực tế của khả năng tính toán tối đa của GPU. Ngạc nhiên là tỉ lệ tận dụng này thường chỉ khoảng 35-40%.

Tại sao lại thấp như vậy? Mặc dù hiệu năng của GPU đã tăng vọt theo quy luật Moore, nhưng sự cải tiến của mạng, bộ nhớ và thiết bị lưu trữ lại đang đứng sau, tạo ra một rào cản đáng kể. Kết quả là, GPU thường rơi vào trạng thái không hoạt động, chờ đợi việc truyền dữ liệu hoàn thành.

Hiện tại, nguyên nhân cơ bản duy nhất của việc huấn luyện AI tập trung cao là hiệu quả.

Đào tạo mô hình lớn phụ thuộc vào các kỹ thuật chính sau:

· Dữ liệu song song: Chia bộ dữ liệu thành nhiều GPU để xử lý song song, từ đó tăng tốc quá trình huấn luyện.

· Song song mô hình: Phân phối các phần khác nhau của mô hình lên nhiều GPU để vượt qua hạn chế bộ nhớ.

Các yêu cầu kỹ thuật này đòi hỏi việc trao đổi dữ liệu thường xuyên giữa các GPU, do đó tốc độ kết nối (tức là tốc độ truyền dữ liệu trong mạng) rất quan trọng.

Khi chi phí đào tạo mô hình AI hiện tại có thể lên đến 1 tỷ đô la, mỗi cải thiện hiệu suất đều quan trọng.

Các trung tâm dữ liệu tập trung, với công nghệ kết nối tốc độ cao, cho phép truyền dữ liệu nhanh giữa các GPU, giúp tiết kiệm đáng kể chi phí trong thời gian đào tạo. Đây là điều mà mạng Phi tập trung hiện nay khó có thể sánh kịp...... Ít nhất là chưa.

Vượt qua tốc độ kết nối chậm

Nếu bạn nói chuyện với những người làm việc trong lĩnh vực AI, có thể có nhiều người thẳng thừng nói rằng việc đào tạo tập trung là không khả thi.

Trong kiến trúc Phi tập trung, cụm GPU không nằm ở cùng một vị trí vật lý, dẫn đến tốc độ truyền dữ liệu giữa chúng chậm hơn, là điểm bottleneck chính. Quá trình huấn luyện yêu cầu GPU đồng bộ và trao đổi dữ liệu ở mỗi bước. Khoảng cách càng xa, trễ càng cao. Và trễ cao hơn có nghĩa là tốc độ huấn luyện chậm hơn, chi phí tăng lên.

Một nhiệm vụ huấn luyện chỉ mất vài ngày trong một trung tâm dữ liệu tập trung có thể mất hai tuần và tốn kém hơn trong môi trường Phi tập trung. Điều này rõ ràng không khả thi.

Tuy nhiên, tình hình đang thay đổi.

Đáng khích lệ là sự nhiệt tình nghiên cứu về đào tạo phân tán đang nhanh chóng tăng. Các nhà nghiên cứu đang tiến hành khám phá từ nhiều hướng cùng một lúc, và sự xuất hiện gần đây của một số lượng lớn kết quả nghiên cứu và bài báo là minh chứng rõ ràng. Những tiến bộ công nghệ này sẽ tạo ra hiệu ứng cộng hưởng, thúc đẩy sự phát triển của đào tạo phi tập trung.

Ngoài ra, việc thử nghiệm trong môi trường sản xuất thực tế cũng rất quan trọng, nó có thể giúp chúng ta vượt qua ranh giới công nghệ hiện có.

Hiện tại, một số công nghệ đào tạo Phi tập trung đã có thể xử lý các mô hình nhỏ trong môi trường kết nối chậm. Trong khi đó, nghiên cứu tiên tiến đang nỗ lực mở rộng các phương pháp này cho các mô hình lớn hơn.

· Ví dụ, bài báo Open DiCoLo của Prime Intellect đề xuất một phương pháp thực tế: bằng cách chia GPU thành 'quần đảo', mỗi quần đảo hoàn thành 500 lần tính toán cục bộ trước khi đồng bộ, từ đó giảm yêu cầu băng thông xuống còn 1/500 so với ban đầu. Công nghệ này ban đầu được Google DeepMind nghiên cứu cho các mô hình nhỏ, hiện đã mở mã nguồn thành công và mới được hoàn thiện gần đây.

Khung DisTrO của Nous Research đã tiến xa hơn, giảm nhu cầu giao tiếp giữa GPU lên đến 10.000 lần thông qua công nghệ tối ưu hóa, đồng thời huấn luyện thành công một mô hình có 12 tỷ tham số.

· Xu hướng này vẫn đang tiếp tục. Nous gần đây đã thông báo rằng họ đã hoàn thành việc tiền huấn luyện một mô hình 150 tỷ tham số, với đường cong mất mát và tốc độ hội tụ vượt trội so với việc huấn luyện tập trung truyền thống.

（Chi tiết bài đăng）

Ngoài ra, các phương pháp như SWARM Parallelism và DTFMHE cũng đang được khám phá để đào tạo mô hình trí tuệ nhân tạo quy mô lớn trên các loại thiết bị khác nhau, ngay cả khi tốc độ và điều kiện kết nối của các thiết bị này khác nhau.

Một thách thức khác là làm thế nào để quản lý mảng phần cứng GPU đa dạng, đặc biệt là GPU cấp tiêu dùng phổ biến trong các mạng phi tập trung, thường có bộ nhớ hạn chế. Vấn đề này đang được giải quyết thông qua tính song song của mô hình, trong đó các lớp khác nhau của mô hình được phân phối trên nhiều thiết bị.

Tương lai đào tạo Phi tập trung

Hiện tại, quy mô mô hình của phương pháp đào tạo Phi tập trung vẫn đang đứng sau rất xa so với những mô hình hàng đầu (theo báo cáo, số lượng tham số của GPT-4 gần 1 triệu tỷ, gấp 100 lần mô hình với 10 tỷ tham số của Prime Intellect). Để thực hiện quy mô hóa thực sự, chúng ta cần đạt được những tiến bộ đáng kể trong thiết kế kiến trúc mô hình, cơ sở hạ tầng mạng và chiến lược phân công nhiệm vụ.

Nhưng thật an toàn khi tưởng tượng rằng trong tương lai, đào tạo Phi tập trung có thể tổng hợp sức mạnh tính toán GPU nhiều hơn các trung tâm dữ liệu tập trung lớn nhất.

Pluralis Research (a team worth following in the decentralized training field) believes that this is not only possible but also inevitable. Centralized data centers are limited by physical conditions such as space and power supply, while decentralized networks can leverage virtually unlimited global resources.

甚至 NVIDIA 的 Jensen Huang 也提到，异步Phi tập trung训练可能是释放 AI 扩展潜力的关键。此外，分布式训练网络还具有更强的容错能力。

Do đó, trong một tương lai có thể xảy ra, mô hình trí tuệ nhân tạo mạnh nhất trên thế giới sẽ được huấn luyện theo cách Phi tập trung.

Đó là một tầm nhìn thú vị, nhưng tôi có sự dè dặt cho bây giờ. Chúng ta cần thêm bằng chứng mạnh mẽ rằng việc Phi tập trung đào tạo các mô hình quy mô rất lớn là khả thi về mặt kỹ thuật và kinh tế.

Tôi cho rằng, ứng dụng tốt nhất của việc đào tạo Phi tập trung có thể nằm ở việc sử dụng các mô hình Mã nguồn mở nhỏ hơn, chuyên dụng, nhằm mục đích cụ thể hơn là cạnh tranh với các mô hình tiên tiến hướng tới AGI. Một số kiến trúc, đặc biệt là các mô hình không phải là Transformer, đã chứng minh rằng chúng rất phù hợp với môi trường Phi tập trung.

Ngoài ra, cơ chế khuyến mãi Token cũng sẽ là một phần quan trọng trong tương lai. Một khi việc huấn luyện Phi tập trung trở nên khả thi về quy mô, Token có thể khuyến khích và thưởng cho người đóng góp một cách hiệu quả, từ đó thúc đẩy sự phát triển của các mạng này.

Mặc dù đường phố dài và khó khăn, nhưng tiến triển hiện tại là đáng khích lệ. Sự đột phá trong việc đào tạo Phi tập trung không chỉ có lợi cho mạng lưới Phi tập trung mà còn mang lại những khả năng mới cho các công ty công nghệ lớn và các phòng thí nghiệm AI hàng đầu...

1.3 Phi tập trung推理

Hiện tại, hầu hết các tài nguyên tính toán của AI đều tập trung vào việc đào tạo các mô hình lớn. Có một cuộc chạy đua vũ trang đang diễn ra giữa các phòng thí nghiệm AI hàng đầu để phát triển mô hình nền tảng mạnh nhất và cuối cùng đạt được AGI.

Nhưng tôi cho rằng, sự đầu tư tập trung nguồn lực tính toán vào việc đào tạo sẽ dần chuyển sang việc suy luận trong những năm tới. Khi công nghệ AI ngày càng được tích hợp nhiều vào các ứng dụng chúng ta sử dụng hàng ngày - từ lĩnh vực chăm sóc sức khỏe đến giải trí - nguồn lực tính toán cần thiết để hỗ trợ suy luận sẽ trở nên rất lớn.

Xu hướng này không phải là không có cơ sở. Thay đổi quy mô điện toán thời gian suy luận đã trở thành một chủ đề nóng trong không gian AI. OpenAI gần đây đã phát hành phiên bản xem trước / mini của mô hình mới nhất của mình, o1 (tên mã: Strawberry), được phân biệt bởi khả năng "dành thời gian để suy nghĩ". Cụ thể, nó phân tích những bước cần thực hiện để trả lời một câu hỏi, và sau đó bước qua các bước đó.

Mô hình này được thiết kế đặc biệt cho các nhiệm vụ phức tạp hơn, đòi hỏi kế hoạch, ví dụ như giải các trò chơi điền từ và xử lý các vấn đề đòi hỏi Độ sâu suy luận. Mặc dù tốc độ phản hồi của nó chậm hơn, nhưng kết quả lại cẩn thận và suy nghĩ sâu sắc hơn. Tuy nhiên, thiết kế này cũng mang lại chi phí hoạt động cao, với chi phí suy luận gấp 25 lần so với GPT-4.

Từ xu hướng này, có thể thấy rằng sự tiến bộ tiếp theo của hiệu suất AI không chỉ phụ thuộc vào việc huấn luyện mô hình lớn hơn mà còn phụ thuộc vào việc mở rộng khả năng tính toán trong giai đoạn suy luận.

Nếu bạn muốn biết thêm, đã có một số nghiên cứu đã chứng minh:

· Tăng hiệu suất đáng kể có thể đạt được trong nhiều nhiệm vụ bằng cách mở rộng các tính toán suy luận với lấy mẫu lặp đi lặp lại.

· Các giai đoạn suy luận cũng tuân theo một quy luật mở rộng bậc số (Scaling Law).

Một khi mô hình AI mạnh mẽ được huấn luyện hoàn thành, nhiệm vụ suy luận của chúng (tức giai đoạn ứng dụng thực tế) có thể được tải lên mạng tính toán Phi tập trung. Phương pháp này rất hấp dẫn vì các lý do sau:

· Nhu cầu tài nguyên cho suy luận thấp hơn nhiều so với việc huấn luyện. Sau khi huấn luyện, mô hình có thể được nén và tối ưu hóa thông qua việc lượng tử hóa (Quantization), cắt tỉa (Pruning) hoặc làm sạch (Distillation). Thậm chí, mô hình có thể được phân chia bằng cách sử dụng song song về tensor (Tensor Parallelism) hoặc song song dòng chảy (Pipeline Parallelism), từ đó có thể chạy trên các thiết bị tiêu dùng thông thường. Suy luận không cần sử dụng GPU cao cấp.

· Xu hướng này đã bắt đầu xuất hiện. Ví dụ, Exo Labs đã tìm ra một phương pháp để chạy mô hình Llama3 có 450 tỷ tham số trên phần cứng tiêu dùng như MacBook và Mac Mini. Bằng cách phân phối nhiệm vụ suy luận trên nhiều thiết bị, ngay cả khi có nhu cầu tính toán quy mô lớn, cũng có thể hoàn thành một cách hiệu quả và chi phí thấp.

· Trải nghiệm người dùng tốt hơn: Triển khai khả năng tính toán tại vị trí gần hơn với người dùng có thể gây Trễ đáng kể, điều này rất quan trọng đối với các ứng dụng thời gian thực như trò chơi, thực tế tăng cường (AR) hoặc xe tự lái - trong những tình huống này, mỗi mili giây Trễ có thể mang lại trải nghiệm sử dụng khác nhau.

Chúng tôi có thể coi Phi tập trung推理 là một hình thức CDN (mạng phân phối nội dung) của AI. CDN truyền thống thông qua việc kết nối với các máy chủ gần nhau để nhanh chóng truyền tải nội dung trang web, trong khi Phi tập trung推理 sử dụng tài nguyên tính toán cục bộ để tạo ra phản hồi AI với tốc độ cực nhanh. Qua cách này, ứng dụng AI trở nên hiệu quả hơn, phản hồi nhanh hơn và đáng tin cậy hơn.

Xu hướng này đã bắt đầu xuất hiện. Vi mạch M4 Pro mới nhất của Apple đã có hiệu năng gần như tương đương với GPU RTX 3070 Ti của NVIDIA - một GPU hiệu năng cao trước đây chỉ dành riêng cho các game thủ cố hữu. Và ngày nay, phần cứng mà chúng ta sử dụng hàng ngày đang ngày càng có khả năng xử lý các tải công việc trí tuệ nhân tạo phức tạp.

Giá trị đặc thù của tiền điện tử

Để mạng lưới suy luận Phi tập trung thực sự thành công, nó phải cung cấp cho người tham gia những ưu đãi tài chính đủ hấp dẫn. Nút tính toán trong mạng cần được bù đắp hợp lý cho sức mạnh tính toán mà nó đóng góp và hệ thống cần đảm bảo rằng việc phân phối phần thưởng là công bằng và hiệu quả. Ngoài ra, sự đa dạng về địa lý là chìa khóa. Nó không chỉ làm giảm Trễ của các tác vụ suy luận mà còn cải thiện khả năng chịu lỗi của mạng, do đó tăng cường sự ổn định tổng thể.

Vậy, cách tốt nhất để xây dựng mạng Phi tập trung là gì? Câu trả lời làTiền điện tử.

Token là một công cụ mạnh mẽ có thể thống nhất lợi ích của tất cả các bên tham gia, đảm bảo mọi người đều đồng lòng với một mục tiêu duy nhất: mở rộng quy mô mạng và nâng cao giá trị Token.

Ngoài ra, mã thông báo có thể đẩy nhanh đáng kể sự phát triển của mạng. Họ đã giúp giải quyết vấn đề nan giải về gà và trứng cổ điển mà nhiều mạng phải đối mặt trong những ngày đầu. Bằng cách thưởng cho những người chấp nhận sớm, Token có thể thúc đẩy nhiều người tham gia vào mạng ngay từ đầu.

Sự thành công của BTC và Ethereum đã chứng minh tính hiệu quả của cơ chế này - chúng đã thu hút được hồ bơi năng lực tính toán lớn nhất trên trái đất.

Mạng lưới Phi tập trung sẽ là người kế nhiệm tiếp theo. Với đặc tính đa dạng địa lý, các mạng lưới này có thể giảm trễ, nâng cao khả năng dung sai và đưa dịch vụ trí tuệ nhân tạo gần hơn với người dùng. Và thông qua cơ chế khuyến khích được thúc đẩy bởi Tiền điện tử, tốc độ mở rộng và hiệu suất của mạng lưới Phi tập trung sẽ vượt xa so với mạng lưới truyền thống.

Tôn kính

Teng Yan

Trong loạt bài viết tiếp theo, chúng tôi sẽ đi sâu vào mạng dữ liệu và nghiên cứu cách chúng có thể giúp vượt qua rào cản dữ liệu mà trí tuệ nhân tạo đang đối mặt.

Tuyên bố từ chối trách nhiệm

Bài viết này chỉ dùng cho mục đích giáo dục, không cung cấp bất kỳ lời khuyên tài chính nào. Đây không phải là sự xác nhận cho việc mua bán tài sản hoặc quyết định tài chính. Khi lựa chọn đầu tư, hãy tự nghiên cứu và cẩn trọng.

Liên kết gốc

：