AI x DePIN: Peluang baru apa yang akan lahir dari tabrakan trek panas?

Penulis: Cynic, Shigeru

Ini adalah volume kedua dari seri laporan penelitian Web3 x AI, dan bagian pengantar dirinci dalam “Dari Paralel ke Konvergensi: Menjelajahi Gelombang Baru Ekonomi Digital yang Dipimpin oleh Konvergensi Web3 dan AI”

Ketika dunia terus mempercepat transformasi digitalnya, AI dan DePIN (Infrastruktur Fisik Desentralisasi) telah menjadi teknologi dasar yang mendorong perubahan di seluruh industri. Integrasi AI dan DePIN tidak hanya akan mempromosikan iterasi dan penerapan teknologi yang cepat, tetapi juga membuka model layanan yang lebih aman, transparan, dan efisien, membawa perubahan luas pada ekonomi global.

DePIN: Desentralisasi dari virtual ke real, andalan ekonomi digital

DePIN adalah singkatan dari Decentralization Decentralized Physical Infrastructure. Dalam arti sempit, DePIN terutama mengacu pada jaringan terdistribusi infrastruktur fisik tradisional yang didukung oleh teknologi Buku Besar Terdistribusi, seperti jaringan listrik, jaringan komunikasi, jaringan pemosisian, dll. Secara garis besar, semua jaringan terdistribusi yang didukung oleh perangkat fisik, seperti jaringan penyimpanan dan jaringan komputasi, dapat disebut DePINs.

dari: Messari

Jika Crypto membawa Desentralisasi di tingkat keuangan, maka DePIN adalah solusi Desentralisasi dalam ekonomi riil. Dapat dikatakan bahwa PoW Mining Rig adalah sejenis DePIN. DePIN telah menjadi pilar inti Web3 sejak hari pertama.

Tiga elemen AI - Algoritma, Daya Komputasi, dan Data, DePIN secara eksklusif menempati yang kedua

Perkembangan AI umumnya dianggap bergantung pada tiga elemen kunci: Algoritma, Daya Komputasi, dan Data. Algoritma mengacu pada model matematika dan logika program yang mendorong sistem AI, Daya Komputasi mengacu pada sumber daya komputasi yang diperlukan untuk menjalankan algoritma ini, dan data adalah dasar untuk melatih dan mengoptimalkan model AI.

Sebelum munculnya chatGPT, orang biasanya berpikir bahwa itu adalah Algoritma, jika tidak, konferensi akademik dan makalah jurnal tidak akan diisi dengan satu penyesuaian Algoritma demi satu. Namun, ketika chatGPT dan model bahasa besar LLM yang mendukung kecerdasannya diresmikan, orang-orang mulai menyadari pentingnya dua yang terakhir. Daya komputasi adalah prasyarat untuk model, kualitas dan keragaman data sangat penting untuk membangun sistem AI yang kuat dan efisien, dan persyaratan Algoritma tidak lagi disempurnakan seperti biasanya.

Di era model besar, AI telah berubah dari pengerjaan yang cermat menjadi batu bata terbang yang kuat, dan permintaan akan daya komputasi dan data meningkat dari hari ke hari, dan DePIN dapat menyediakan hal itu. Insentif token memanfaatkan pasar ekor panjang, dan Daya Komputasi dan penyimpanan tingkat konsumen yang besar akan menjadi makanan terbaik untuk model besar.

Desentralisasi AI tidak opsional, tetapi wajib

Tentu saja, beberapa orang akan bertanya, Daya Komputasi dan data tersedia di ruang komputer AWS, dan mereka lebih baik daripada DePIN dalam hal stabilitas dan pengalaman pengguna, mengapa memilih DePIN daripada layanan terpusat?

Pernyataan ini tentu saja masuk akal, lagipula, sepanjang saat ini, hampir semua model besar secara langsung atau tidak langsung dikembangkan oleh perusahaan Internet besar, chatGPT di belakang Microsoft, Gemini di belakang Google, produsen Internet China hampir semua orang memiliki model besar. Mengapa? Karena hanya perusahaan Internet besar yang memiliki cukup data berkualitas tinggi dan dukungan keuangan yang kuat untuk daya komputasi. Tapi itu tidak benar, orang tidak ingin dimanipulasi oleh raksasa internet lagi.

Di satu sisi, AI terpusat memiliki risiko privasi dan keamanan data, yang dapat disensor dan dikendalikan, dan di sisi lain, AI buatan raksasa Internet akan semakin meningkatkan ketergantungan masyarakat, menyebabkan konsentrasi pasar, dan meningkatkan hambatan inovasi.

Dari:

Umat manusia seharusnya tidak membutuhkan Martin Luther di era AI, dan orang-orang harus memiliki hak untuk berbicara langsung kepada Tuhan.

DePIN dari perspektif bisnis: pengurangan biaya dan peningkatan efisiensi adalah kuncinya

Bahkan mengesampingkan perdebatan nilai antara Desentralisasi dan Sentralisasi, dari perspektif bisnis, penggunaan DePIN untuk AI masih memiliki kelebihan.

Pertama-tama, kita perlu memahami dengan jelas bahwa meskipun raksasa Internet memiliki sejumlah besar sumber daya kartu grafis kelas atas di tangan mereka, kombinasi kartu grafis kelas konsumen yang tersebar di sektor swasta juga dapat membentuk jaringan Daya Komputasi yang sangat besar, yaitu efek ekor panjang dari Daya Komputasi. Tingkat idle kartu grafis kelas konsumen semacam ini sebenarnya sangat tinggi. Selama insentif yang diberikan oleh DePIN melebihi tagihan listrik, pengguna termotivasi untuk menyumbangkan daya komputasi ke jaringan. Pada saat yang sama, semua fasilitas fisik dikelola oleh pengguna sendiri, dan jaringan DePIN tidak perlu menanggung biaya operasional yang tidak dapat dihindari oleh vendor terpusat, tetapi hanya berfokus pada desain protokol itu sendiri.

Untuk data, jaringan DePIN dapat merilis ketersediaan data potensial dan menurunkan biaya transmisi melalui komputasi tepi dan metode lainnya. Pada saat yang sama, sebagian besar jaringan penyimpanan terdistribusi memiliki kemampuan deduplikasi otomatis, yang mengurangi pekerjaan membersihkan data pelatihan AI.

Akhirnya, cryptoeconomics yang dibawa oleh DePIN meningkatkan ruang toleransi kesalahan sistem, yang diharapkan dapat mencapai situasi win-win bagi penyedia, konsumen, dan platform.

dari: UCLA

Jika Anda tidak yakin, penelitian terbaru UCLA menunjukkan bahwa menggunakan komputasi desentralisasi mencapai kinerja 2,75x dibandingkan dengan cluster GPU tradisional dengan biaya yang sama, khususnya 1,22x lebih cepat dan 4,83x lebih murah.

Apa tantangan AIxDePIN?

Kami memilih untuk pergi ke bulan dalam dekade ini dan melakukan hal-hal lain, bukan karena itu mudah, tetapi karena itu sulit. ——John Fitzgerald Kennedy

Konstruksi model AI yang tidak dapat dipercaya menggunakan penyimpanan terdistribusi dan komputasi terdistribusi DePIN masih menghadirkan banyak tantangan.

Verifikasi Pekerjaan

Pada dasarnya, model pembelajaran kedalaman komputasi dan penambangan PoW keduanya adalah komputasi tujuan umum, dan lapisan terendah adalah perubahan sinyal antar gerbang. Secara makroskopis, PoW Mining adalah “perhitungan tidak berguna” yang mencoba untuk sampai pada nilai hash yang diawali dengan n nol melalui pembuatan angka acak yang tak terhitung jumlahnya dan perhitungan fungsi hash, sedangkan perhitungan pembelajaran Kedalaman adalah “perhitungan yang berguna” yang menghitung nilai parameter dari setiap lapisan pembelajaran Kedalaman melalui derivasi maju dan derivasi Terbalik, sehingga dapat membangun model AI yang efisien.

Faktanya adalah bahwa “perhitungan yang tidak berguna” seperti PoW Mining menggunakan fungsi hash, dan mudah untuk menghitung gambar dari preimage, dan sulit untuk menghitung preimage dari gambar, sehingga siapa pun dapat dengan mudah dan cepat memverifikasi validitas perhitungan, sedangkan untuk perhitungan model pembelajaran Kedalaman, karena struktur hierarkis, output dari setiap lapisan digunakan sebagai input dari lapisan berikutnya, sehingga memverifikasi validitas perhitungan membutuhkan semua pekerjaan sebelumnya, dan tidak dapat diverifikasi secara sederhana dan efektif.

dari: AWS

Verifikasi pekerjaan sangat penting, jika tidak, penyedia perhitungan dapat dengan mudah mengirimkan hasil yang dihasilkan secara acak tanpa perhitungan.

Salah satu jenis idenya adalah memiliki server yang berbeda melakukan tugas komputasi yang sama, dan memverifikasi validitas pekerjaan dengan mengulanginya dan memverifikasi bahwa itu sama. Namun, sebagian besar perhitungan model bersifat non-deterministik, dan hasil yang sama tidak dapat direproduksi bahkan dalam lingkungan komputasi yang sama persis, dan hanya kesamaan statistik yang dapat dicapai. Selain itu, penghitungan ganda menyebabkan kenaikan biaya yang cepat, yang tidak konsisten dengan tujuan utama DePIN untuk mengurangi biaya dan meningkatkan efisiensi.

Jenis ide lain adalah mekanisme Optimis, yang pertama kali secara optimis percaya bahwa hasilnya dihitung secara valid, dan pada saat yang sama memungkinkan siapa pun untuk memverifikasi hasil perhitungan, dan jika ditemukan kesalahan, Bukti Penipuan dapat diserahkan, dan protokol memangkas penipu dan memberi penghargaan kepada pelapor.

Paralelisasi

Seperti disebutkan sebelumnya, DePIN memanfaatkan terutama pasar Daya Komputasi tingkat konsumen ekor panjang, yang ditakdirkan untuk Daya Komputasi terbatas yang dapat disediakan oleh satu perangkat. Untuk model AI besar, pelatihan pada satu perangkat bisa sangat lama, dan paralelisasi harus digunakan untuk mengurangi waktu yang dibutuhkan untuk berlatih.

Kesulitan utama paralelisasi pelatihan Pembelajaran Mendalam terletak pada ketergantungan antara tugas depan dan belakang, yang akan membuat paralelisasi sulit dicapai.

Saat ini, paralelisasi pelatihan Pembelajaran Mendalam terutama dibagi menjadi paralelisme data dan paralelisme model.

Paralelisme data mengacu pada distribusi data di beberapa mesin, setiap mesin menyimpan semua parameter model, menggunakan data lokal untuk pelatihan, dan akhirnya menggabungkan parameter setiap mesin. Paralelisme data bekerja dengan baik ketika ada sejumlah besar data, tetapi komunikasi sinkron diperlukan untuk menggabungkan parameter.

Paralelisme model berarti bahwa ketika ukuran model terlalu besar untuk masuk ke dalam satu mesin, model dapat dibagi pada beberapa mesin, dan setiap mesin menyimpan sebagian dari parameter model. Propagasi Maju dan Mundur membutuhkan komunikasi antara mesin yang berbeda. Paralelisme model memiliki kelebihan ketika modelnya besar, tetapi overhead komunikasi besar ketika merambat ke belakang dan ke depan.

Untuk informasi gradien antara lapisan yang berbeda, dapat dibagi menjadi pembaruan sinkron dan pembaruan asinkron. Pembaruan sinkron sangat mudah tetapi meningkatkan waktu tunggu; pembaruan asinkron Waktu tunggu algoritma singkat tetapi memperkenalkan masalah stabilitas.

dari: Stanford University, Parallel and Distributed Deep Learning

Privasi

Dunia sedang memulai tren pemikiran untuk melindungi privasi pribadi, dan pemerintah di seluruh dunia memperkuat perlindungan keamanan privasi data pribadi. Sementara AI memanfaatkan kumpulan data yang tersedia untuk umum secara ekstensif, itu adalah data pengguna khusus perusahaan yang benar-benar memisahkan model AI yang berbeda.

Bagaimana saya bisa mendapatkan manfaat data kepemilikan selama proses pelatihan tanpa mengekspos privasi, dan bagaimana saya bisa memastikan bahwa parameter model AI yang saya buat tidak bocor?

Ini adalah dua aspek privasi, privasi data, dan privasi model. Privasi data melindungi pengguna, sementara privasi model melindungi organisasi yang membangun model. Dalam skenario saat ini, privasi data jauh lebih penting daripada privasi model.

Beberapa opsi mencoba mengatasi masalah privasi. Pembelajaran federasi memastikan privasi data dengan melatih sumber data, menjaga data tetap lokal saat parameter model ditransmisikan; Bukti Tanpa Pengetahuan dapat menjadi bintang yang sedang naik daun.

Studi Kasus: Apa proyek berkualitas tinggi di pasar?

Gensyn

Gensyn adalah jaringan komputasi terdistribusi untuk melatih model AI. Jaringan menggunakan Blockchain lapisan 1 berbasis Polkadot untuk memverifikasi bahwa tugas pembelajaran mendalam telah dijalankan dengan benar dan memicu pembayaran melalui perintah. Didirikan pada tahun 2020, ia mengungkapkan putaran pendanaan Seri A senilai $43 juta pada Juni 2023, dipimpin oleh a16z.

Gensyn menggunakan Metadata dari proses optimasi berbasis gradien untuk membangun sertifikat pekerjaan yang dilakukan, dan dijalankan secara konsisten oleh protokol presisi multi-granularitas, berbasis grafik dan cross-evaluator untuk memungkinkan pekerjaan validasi dijalankan kembali dan membandingkan konsistensi, dan akhirnya dikonfirmasi oleh rantai itu sendiri, menjamin validitas perhitungan. Untuk lebih memperkuat keandalan proof-of-work, Gensyn memperkenalkan staking untuk menciptakan insentif.

Ada empat jenis peserta dalam sistem: pengirim, pemecah, validator, dan pelapor.

• Pengirim adalah pengguna akhir sistem, menyediakan tugas yang akan dihitung, dan membayar unit kerja yang telah diselesaikan.
• Pemecah adalah pekerja utama sistem, melakukan pelatihan model dan menghasilkan bukti untuk inspeksi verifikator.
• Validator adalah kunci untuk menghubungkan proses pelatihan non-deterministik dengan perhitungan linier deterministik, mereplikasi bagian dari bukti solver dan membandingkan jarak dengan ambang batas yang diharapkan.
• Pelapor adalah garis pertahanan terakhir, memeriksa pekerjaan validator dan mengajukan tantangan, dan hadiah diberikan ketika tantangan dilewati.

Pemecah perlu membuat janji, dan pelapor menguji pekerjaan penyelesaian, jika dia menemukan kejahatan, dia menantangnya, dan setelah tantangan berlalu, Token yang dijanjikan oleh pemecah disita, dan pelapor mendapat hadiah.

Menurut prediksi Gensyn, solusi ini diharapkan dapat mengurangi biaya pelatihan hingga 1/5 dari vendor terpusat.

dari: Gensyn

FedML

FedML adalah Platform Machine Learning Kolaboratif Desentralisasi untuk Desentralisasi dan AI Kolaboratif dalam skala apa pun, di mana pun. Lebih khusus lagi, FedML menyediakan ekosistem MLOps untuk melatih, menyebarkan, memantau, dan terus meningkatkan model pembelajaran mesin sambil berkolaborasi pada gabungan data, model, dan sumber daya komputasi dengan cara yang menjaga privasi. Didirikan pada tahun 2022, FedML mengungkapkan putaran pendanaan awal sebesar $6 juta pada Maret 2023.

FedML terdiri dari dua komponen utama, FedML-API dan FedML-core, yang masing-masing mewakili API tingkat tinggi dan API yang mendasarinya.

FedML-core terdiri dari dua modul terpisah: Komunikasi Terdistribusi dan Pelatihan Model. Modul komunikasi bertanggung jawab atas komunikasi yang mendasari antara pekerja / klien yang berbeda dan didasarkan pada MPI; modul pelatihan model didasarkan pada PyTorch.

FedML-API dibangun di atas FedML-core. Dengan FedML-core, algoritme terdistribusi baru dapat dengan mudah diimplementasikan dengan menggunakan antarmuka pemrograman berorientasi klien.

Pekerjaan terbaru tim FedML membuktikan bahwa inferensi model AI pada GPU kelas konsumen RTX 4090 menggunakan FedML Nexus AI 20x lebih murah dan 1,88x lebih cepat daripada A100.

dari: FedML

Prospek Masa Depan: DePIN Mendemokratisasikan AI

Suatu hari, AI akan berkembang lebih lanjut menjadi AGI, dan Computing Power akan menjadi mata uang universal de facto, dan DePIN akan mewujudkannya lebih cepat.

Konvergensi AI dan DePIN telah membuka titik pertumbuhan teknologi baru dan memberikan peluang besar bagi pengembangan kecerdasan buatan. DePIN menyediakan sejumlah besar daya komputasi dan data terdistribusi untuk AI, membantu melatih model yang lebih besar dan mencapai kecerdasan yang lebih besar. Pada saat yang sama, DePIN juga memungkinkan AI menjadi lebih terbuka, aman, dan andal, mengurangi ketergantungan pada satu infrastruktur terpusat.

Ke depannya, AI dan DePIN akan terus berkembang secara sinergi. Jaringan terdistribusi akan memberikan fondasi yang kuat untuk melatih model yang sangat besar, yang pada gilirannya akan memainkan peran penting dalam penerapan DePIN. Sambil melindungi privasi dan keamanan, AI juga akan membantu mengoptimalkan protokol dan algoritma jaringan DePIN. Kami menantikan dunia digital yang lebih efisien, lebih adil, dan lebih tepercaya dengan AI dan DePIN.

Referensi:

_reports/lindung nilai_usmani.pdf