AI x DePIN: Những cơ hội mới nào sẽ được sinh ra từ sự va chạm của các đường đua nóng?

Tác giả: Cynic, Shigeru

Đây là tập thứ hai của loạt báo cáo nghiên cứu Web3 x AI và phần giới thiệu được trình bày chi tiết trong “Từ song song đến hội tụ: Khám phá làn sóng kinh tế kỹ thuật số mới được dẫn dắt bởi sự hội tụ của Web3 và AI”

Khi thế giới tiếp tục đẩy nhanh quá trình chuyển đổi kỹ thuật số, AI và DePIN (Cơ sở hạ tầng vật lý phi tập trung) đã trở thành những công nghệ nền tảng đang thúc đẩy sự thay đổi trong các ngành. Việc tích hợp AI và DePIN sẽ không chỉ thúc đẩy việc lặp lại và ứng dụng công nghệ nhanh chóng mà còn mở ra một mô hình dịch vụ an toàn, minh bạch và hiệu quả hơn, mang lại những thay đổi sâu rộng cho nền kinh tế toàn cầu.

DePIN: Phân cấp từ ảo sang thực, trụ cột của nền kinh tế số

DePIN là tên viết tắt của Decentralization Decentralized Physical Infrastructure. Theo nghĩa hẹp, DePIN chủ yếu đề cập đến mạng phân tán của cơ sở hạ tầng vật lý truyền thống được hỗ trợ bởi công nghệ Sổ cái phân tán, chẳng hạn như mạng điện, mạng truyền thông, mạng định vị, v.v. Nói chung, tất cả các mạng phân tán được hỗ trợ bởi các thiết bị vật lý, chẳng hạn như mạng lưu trữ và mạng máy tính, có thể được gọi là DePIN.

từ: Messari

Nếu Crypto mang lại sự phân quyền ở cấp độ tài chính, thì DePIN là giải pháp Phân cấp trong nền kinh tế thực. Có thể nói, PoW Mining Rig là một loại DePIN. DePIN đã là trụ cột cốt lõi của Web3 kể từ ngày đầu tiên.

Ba yếu tố của AI - Thuật toán, Sức mạnh tính toán và Dữ liệu, DePIN chỉ chiếm thứ hai

Sự phát triển của AI thường được coi là dựa trên ba yếu tố chính: Thuật toán, Sức mạnh tính toán và Dữ liệu. Thuật toán đề cập đến các mô hình toán học và logic chương trình điều khiển các hệ thống AI, Sức mạnh tính toán đề cập đến các tài nguyên tính toán cần thiết để thực hiện các thuật toán này và dữ liệu là cơ sở để đào tạo và tối ưu hóa các mô hình AI.

Trước khi chatGPT ra đời, mọi người thường nghĩ rằng đó là Thuật toán, nếu không các hội nghị học thuật và các bài báo trên tạp chí sẽ không được lấp đầy bằng một thuật toán tinh chỉnh khác. Tuy nhiên, khi chatGPT và mô hình ngôn ngữ lớn LLM làm nền tảng cho trí thông minh của nó được công bố, mọi người bắt đầu nhận ra tầm quan trọng của hai mô hình sau. Sức mạnh tính toán là điều kiện tiên quyết cho các mô hình, chất lượng dữ liệu và sự đa dạng là rất quan trọng để xây dựng các hệ thống AI mạnh mẽ và hiệu quả, và các yêu cầu về Thuật toán không còn tinh tế như bình thường.

Trong kỷ nguyên của các mô hình lớn, AI đã thay đổi từ sự khéo léo tỉ mỉ sang những viên gạch bay mạnh mẽ, và nhu cầu về sức mạnh tính toán và dữ liệu đang tăng lên từng ngày và DePIN có thể cung cấp điều đó. Các ưu đãi mã thông báo thúc đẩy thị trường đuôi dài và Sức mạnh tính toán và lưu trữ cấp tiêu dùng lớn sẽ trở thành chất dinh dưỡng tốt nhất cho các mô hình lớn.

Phân cấp AI không phải là tùy chọn, mà là bắt buộc

Tất nhiên, một số người sẽ hỏi, Sức mạnh tính toán và dữ liệu có sẵn trong phòng máy tính của AWS và chúng tốt hơn DePIN về độ ổn định và trải nghiệm người dùng, tại sao lại chọn DePIN thay vì các dịch vụ tập trung?

Tuyên bố này đương nhiên có ý nghĩa, xét cho cùng, trong suốt thời điểm hiện tại, hầu hết tất cả các mô hình lớn đều được phát triển trực tiếp hoặc gián tiếp bởi các công ty Internet lớn, chatGPT đứng sau Microsoft, Gemini đứng sau Google, các nhà sản xuất Internet của Trung Quốc hầu như ai cũng có một mô hình lớn. Tại sao? Bởi vì chỉ có các công ty Internet lớn mới có đủ dữ liệu chất lượng cao và hỗ trợ tài chính mạnh mẽ cho sức mạnh tính toán. Nhưng điều đó không đúng, mọi người không muốn bị thao túng bởi những gã khổng lồ internet nữa.

Một mặt, AI tập trung có rủi ro về quyền riêng tư và bảo mật dữ liệu, có thể bị kiểm duyệt và kiểm soát, mặt khác, AI do những gã khổng lồ Internet tạo ra sẽ làm tăng thêm sự phụ thuộc của mọi người, dẫn đến sự tập trung thị trường và nâng cao rào cản đối với sự đổi mới.

Từ:

Nhân loại không cần một Martin Luther trong kỷ nguyên AI, và mọi người nên có quyền nói chuyện trực tiếp với Chúa.

DePIN từ góc độ kinh doanh: giảm chi phí và tăng hiệu quả là chìa khóa

Ngay cả khi bỏ qua cuộc tranh luận về giá trị giữa Phân cấp và Tập trung, từ góc độ kinh doanh, việc sử dụng DePIN cho AI vẫn có giá trị của nó.

Trước hết, chúng ta cần hiểu rõ rằng mặc dù những gã khổng lồ Internet có một số lượng lớn tài nguyên card đồ họa cao cấp trong tay, nhưng sự kết hợp của các card đồ họa cấp tiêu dùng nằm rải rác trong khu vực tư nhân cũng có thể tạo thành một mạng lưới Sức mạnh tính toán rất đáng kể, đó là hiệu ứng đuôi dài của Sức mạnh tính toán. Tỷ lệ nhàn rỗi của loại card đồ họa cấp tiêu dùng này thực sự rất cao. Miễn là ưu đãi do DePIN đưa ra vượt quá hóa đơn tiền điện, người dùng có động lực đóng góp sức mạnh tính toán cho mạng. Đồng thời, tất cả các cơ sở vật lý được quản lý bởi chính người dùng và mạng DePIN không cần phải chịu chi phí hoạt động mà các nhà cung cấp tập trung không thể tránh được, mà chỉ tập trung vào chính thiết kế giao thức.

Đối với dữ liệu, mạng DePIN có thể giải phóng tính khả dụng của dữ liệu tiềm năng và giảm chi phí truyền thông qua điện toán biên và các phương pháp khác. Đồng thời, hầu hết các mạng lưu trữ phân tán đều có khả năng chống trùng lặp tự động, giúp giảm công việc làm sạch dữ liệu đào tạo AI.

Cuối cùng, kinh tế học tiền điện tử do DePIN mang lại giúp tăng cường không gian chịu lỗi của hệ thống, dự kiến sẽ đạt được tình huống đôi bên cùng có lợi cho các nhà cung cấp, người tiêu dùng và nền tảng.

từ: UCLA

Trong trường hợp bạn không bị thuyết phục, nghiên cứu mới nhất của UCLA cho thấy việc sử dụng điện toán phi tập trung đạt hiệu suất gấp 2,75 lần so với các cụm GPU truyền thống với cùng chi phí, cụ thể là nhanh hơn 1,22 lần và rẻ hơn 4,83 lần.

Những thách thức của AIxDePIN là gì?

Chúng ta chọn lên mặt trăng trong thập kỷ này và làm những việc khác, không phải vì chúng dễ dàng, mà vì chúng khó.——John Fitzgerald Kennedy

Việc xây dựng các mô hình AI không tin cậy bằng cách sử dụng lưu trữ phân tán và điện toán phân tán của DePIN vẫn còn nhiều thách thức.

Xác minh công việc

Về cơ bản, các mô hình học sâu tính toán và khai thác PoW đều là tính toán có mục đích chung và lớp thấp nhất là sự thay đổi tín hiệu giữa các cổng. Về mặt vĩ mô, PoW Mining là một “tính toán vô dụng” cố gắng đi đến một giá trị băm có tiền tố n số không thông qua vô số phép tính hàm băm và tạo số ngẫu nhiên, trong khi tính toán học sâu là một “tính toán hữu ích” tính toán các giá trị tham số của từng lớp học Depth thông qua đạo hàm chuyển tiếp và đạo hàm ngược, để xây dựng một mô hình AI hiệu quả.

Thực tế là “tính toán vô dụng” như PoW Mining sử dụng các hàm băm và rất dễ tính toán hình ảnh từ hình ảnh trước và rất khó để tính toán tiền ảnh từ hình ảnh, vì vậy bất kỳ ai cũng có thể dễ dàng và nhanh chóng xác minh tính hợp lệ của tính toán, trong khi để tính toán mô hình học sâu, do cấu trúc phân cấp, đầu ra của mỗi lớp được sử dụng làm đầu vào của lớp tiếp theo, vì vậy việc xác minh tính hợp lệ của tính toán đòi hỏi tất cả các công việc trước đó và không thể được xác minh đơn giản và hiệu quả.

từ: AWS

Xác minh công việc là rất quan trọng, nếu không, nhà cung cấp tính toán có thể chỉ cần gửi kết quả được tạo ngẫu nhiên mà không cần tính toán.

Một loại ý tưởng là để các máy chủ khác nhau thực hiện cùng một tác vụ tính toán và xác minh tính hợp lệ của công việc bằng cách lặp lại nó và xác minh rằng nó giống nhau. Tuy nhiên, phần lớn các tính toán mô hình là không xác định và các kết quả tương tự không thể được sao chép ngay cả trong cùng một môi trường tính toán chính xác và chỉ có thể đạt được sự tương đồng thống kê. Ngoài ra, tính hai lần dẫn đến tăng chi phí nhanh chóng, điều này không phù hợp với mục tiêu chính của DePIN là giảm chi phí và tăng hiệu quả.

Một loại ý tưởng khác là cơ chế Lạc quan, trước tiên lạc quan tin rằng kết quả được tính toán hợp lệ, đồng thời cho phép bất kỳ ai xác minh kết quả tính toán và nếu tìm thấy lỗi, Bằng chứng gian lận có thể được gửi và giao thức sẽ chém kẻ lừa đảo và thưởng cho người tố giác.

Song song

Như đã đề cập trước đó, DePIN tận dụng chủ yếu thị trường Điện toán cấp tiêu dùng đuôi dài, vốn phải chịu sức mạnh tính toán hạn chế mà một thiết bị duy nhất có thể cung cấp. Đối với các mô hình AI lớn, việc đào tạo trên một thiết bị duy nhất có thể rất dài và phải sử dụng song song để giảm thời gian cần thiết để đào tạo.

Khó khăn chính của việc song song hóa đào tạo Depth Learning nằm ở sự phụ thuộc giữa các nhiệm vụ trước và sau, điều này sẽ khiến việc song song hóa khó đạt được.

Hiện nay, việc song song hóa đào tạo Depth Learning chủ yếu được chia thành song song dữ liệu và song song mô hình.

Song song dữ liệu đề cập đến việc phân phối dữ liệu trên nhiều máy, mỗi máy lưu trữ tất cả các tham số của một mô hình, sử dụng dữ liệu cục bộ để đào tạo và cuối cùng là tổng hợp các tham số của từng máy. Song song dữ liệu hoạt động tốt khi có một lượng lớn dữ liệu, nhưng cần có giao tiếp đồng bộ để tổng hợp các tham số.

Mô hình song song có nghĩa là khi kích thước mô hình quá lớn để phù hợp với một máy duy nhất, mô hình có thể được chia trên nhiều máy và mỗi máy lưu một phần các tham số của mô hình. Truyền tiến và đảo ngược đòi hỏi giao tiếp giữa các máy khác nhau. Mô hình song song có lợi thế khi mô hình lớn, nhưng chi phí truyền thông lớn khi lan truyền ngược và tiến.

Đối với thông tin gradient giữa các lớp khác nhau, nó có thể được chia thành cập nhật đồng bộ và cập nhật không đồng bộ. Cập nhật đồng bộ rất đơn giản nhưng tăng thời gian chờ đợi; cập nhật không đồng bộ Thời gian chờ thuật toán ngắn nhưng gây ra các vấn đề về độ ổn định.

từ: Đại học Stanford, Học sâu song song và phân tán

Quyền riêng tư

Thế giới đang tạo ra một xu hướng tư duy để bảo vệ quyền riêng tư cá nhân và các chính phủ trên khắp thế giới đang tăng cường bảo vệ quyền riêng tư dữ liệu cá nhân. Mặc dù AI sử dụng rộng rãi các bộ dữ liệu có sẵn công khai, nhưng chính dữ liệu người dùng dành riêng cho doanh nghiệp mới thực sự tách biệt các mô hình AI khác nhau.

Làm thế nào tôi có thể nhận được lợi ích của dữ liệu độc quyền trong quá trình đào tạo mà không để lộ quyền riêng tư và làm thế nào tôi có thể đảm bảo rằng các thông số của mô hình AI mà tôi xây dựng không bị rò rỉ?

Đây là hai khía cạnh của quyền riêng tư, quyền riêng tư dữ liệu và quyền riêng tư của mô hình. Quyền riêng tư dữ liệu bảo vệ người dùng, trong khi quyền riêng tư của mô hình bảo vệ tổ chức xây dựng mô hình. Trong kịch bản hiện tại, quyền riêng tư dữ liệu quan trọng hơn nhiều so với quyền riêng tư của mô hình.

Nhiều lựa chọn đang cố gắng giải quyết các mối quan tâm về quyền riêng tư. Học tập liên kết đảm bảo quyền riêng tư dữ liệu bằng cách đào tạo tại nguồn dữ liệu, giữ dữ liệu cục bộ trong khi các tham số mô hình được truyền đi; Zero-Knowledge Proof có thể trở thành một ngôi sao đang lên.

Nghiên cứu điển hình: Các dự án chất lượng cao trên thị trường là gì?

Gensyn

Gensyn là một mạng điện toán phân tán để đào tạo các mô hình AI. Mạng sử dụng Blockchain lớp 1 dựa trên Polkadot để xác minh rằng các tác vụ học tập chuyên sâu đã được thực hiện chính xác và kích hoạt thanh toán thông qua các lệnh. Được thành lập vào năm 2020, nó đã tiết lộ vòng tài trợ Series A trị giá 43 triệu đô la vào tháng 6 năm 2023, do a16z dẫn đầu.

Gensyn sử dụng Siêu dữ liệu của quy trình tối ưu hóa dựa trên gradient để xây dựng chứng chỉ của công việc được thực hiện và được thực hiện nhất quán bởi giao thức chính xác đa chi tiết, dựa trên đồ thị và trình đánh giá chéo để cho phép công việc xác nhận được chạy lại và so sánh tính nhất quán, và cuối cùng được xác nhận bởi chính chuỗi, đảm bảo tính hợp lệ của tính toán. Để tăng cường hơn nữa độ tin cậy của bằng chứng công việc, Gensyn đã giới thiệu đặt cọc để tạo ra các ưu đãi.

Có bốn loại người tham gia trong hệ thống: người gửi, người giải quyết, người xác nhận và người tố giác.

• Người gửi là người dùng cuối của hệ thống, cung cấp các nhiệm vụ sẽ được tính toán và trả tiền cho các đơn vị công việc đã được hoàn thành.
• Người giải là nhân viên chính của hệ thống, thực hiện đào tạo mô hình và tạo bằng chứng để kiểm tra người xác minh.
• Trình xác thực là chìa khóa để liên kết quá trình đào tạo không xác định với tính toán tuyến tính xác định, sao chép một phần của bằng chứng bộ giải và so sánh khoảng cách với ngưỡng dự kiến.
• Người tố cáo là tuyến phòng thủ cuối cùng, kiểm tra công việc của người xác thực và yêu cầu thử thách, và phần thưởng được trao khi vượt qua các thử thách.

Người giải quyết cần phải thực hiện một cam kết, và người tố cáo kiểm tra công việc của người giải, nếu anh ta tìm thấy điều ác, anh ta thách thức nó, và sau khi thử thách được thông qua, Mã thông báo do người giải quyết cầm cố sẽ bị tịch thu và người tố cáo nhận được phần thưởng.

Theo dự đoán của Gensyn, giải pháp này dự kiến sẽ giảm chi phí đào tạo xuống còn 1/5 so với các nhà cung cấp tập trung.

từ: Gensyn

FedML

FedML là một Nền tảng học máy cộng tác phi tập trung để phân cấp và AI cộng tác ở mọi quy mô, mọi nơi. Cụ thể hơn, FedML cung cấp một hệ sinh thái MLOps để đào tạo, triển khai, giám sát và liên tục cải tiến các mô hình machine learning trong khi cộng tác trên dữ liệu, mô hình và tài nguyên điện toán kết hợp theo cách bảo vệ quyền riêng tư. Được thành lập vào năm 2022, FedML đã tiết lộ vòng tài trợ hạt giống trị giá 6 triệu USD vào tháng 3/2023.

FedML bao gồm hai thành phần chính, FedML-API và FedML-core, lần lượt đại diện cho API cấp cao và API cơ bản.

FedML-core bao gồm hai mô-đun riêng biệt: Truyền thông phân tán và Đào tạo mô hình. Mô-đun giao tiếp chịu trách nhiệm giao tiếp cơ bản giữa các công nhân / khách hàng khác nhau và dựa trên MPI; mô-đun đào tạo mô hình dựa trên PyTorch.

FedML-API được xây dựng dựa trên FedML-core. Với FedML-core, các thuật toán phân tán mới có thể dễ dàng thực hiện bằng cách sử dụng các giao diện lập trình hướng đến máy khách.

Nghiên cứu mới nhất của nhóm FedML chứng minh rằng suy luận mô hình AI trên GPU RTX 4090 cấp tiêu dùng sử dụng FedML Nexus AI rẻ hơn 20 lần và nhanh hơn 1,88 lần so với A100.

từ: FedML

Triển vọng tương lai: DePIN dân chủ hóa AI

Một ngày nào đó, AI sẽ tiếp tục phát triển thành AGI và Sức mạnh tính toán sẽ trở thành loại tiền tệ phổ quát trên thực tế và DePIN sẽ làm cho điều này xảy ra sớm hơn.

Sự hội tụ của AI và DePIN đã mở ra một điểm tăng trưởng công nghệ mới và mang đến cơ hội lớn cho sự phát triển của trí tuệ nhân tạo. DePIN cung cấp một lượng lớn sức mạnh tính toán và dữ liệu phân tán cho AI, giúp đào tạo các mô hình lớn hơn và đạt được trí thông minh cao hơn. Đồng thời, DePIN cũng cho phép AI trở nên cởi mở, an toàn và đáng tin cậy hơn, giảm sự phụ thuộc vào một cơ sở hạ tầng tập trung duy nhất.

Trong tương lai, AI và DePIN sẽ tiếp tục phát triển trong sức mạnh tổng hợp. Mạng phân tán sẽ cung cấp một nền tảng vững chắc để đào tạo các mô hình rất lớn, do đó sẽ đóng một vai trò quan trọng trong việc áp dụng DePIN. Trong khi bảo vệ quyền riêng tư và bảo mật, AI cũng sẽ giúp tối ưu hóa các giao thức và thuật toán mạng DePIN. Chúng tôi mong muốn một thế giới kỹ thuật số hiệu quả hơn, công bằng hơn và đáng tin cậy hơn với AI và DePIN.

Tham khảo:

_reports/hedge_usmani.pdf