Ditulis setelah konferensi GTC, dapatkah Web3 memecahkan masalah daya komputasi AI yang ketat?

Penulis: Zuo Ye

Fashion bersifat siklus, begitu pula Web 3.

Near “re” menjadi rantai publik AI. Sebagai salah satu pendiri Transformer, ia menghadiri konferensi NVIDIA GTC dan berbicara dengan Lao Huang yang berbalut kulit tentang masa depan AI generatif. Solana telah berhasil bertransformasi sebagai tempat berkumpulnya untuk io.net, Bittensor dan Render Network.Untuk rantai konsep AI, ada juga pemain baru yang terlibat dalam komputasi GPU seperti Akash, GAIMIN, dan Gensyn.

Jika kita melihat lebih dekat, ketika harga mata uang sedang naik, kita dapat menemukan beberapa fakta menarik:

1. **Pertarungan untuk kekuatan komputasi GPU telah terjadi pada platform terdesentralisasi. Semakin besar daya komputasi, semakin kuat efek komputasinya. CPU, penyimpanan, dan GPU terikat satu sama lain; **
2. Paradigma komputasi sedang bertransisi dari cloudisasi ke desentralisasi. Di belakangnya adalah perubahan permintaan dari pelatihan AI ke penalaran. Model on-chain bukan lagi omong kosong;
3. **Komposisi perangkat lunak dan perangkat keras yang mendasari serta logika pengoperasian arsitektur Internet tidak berubah secara mendasar, dan lapisan daya komputasi yang terdesentralisasi lebih berperan dalam menstimulasi jaringan. **

Mari kita membuat perbedaan konseptual terlebih dahulu. Kekuatan komputasi awan di dunia Web3 lahir di era penambangan awan. Ini mengacu pada pengemasan dan penjualan kekuatan komputasi mesin penambangan, menghilangkan pengeluaran besar pengguna untuk membeli mesin penambangan. Namun, komputasi produsen listrik seringkali “menjual secara berlebihan”, seperti Mencampur dan menjual daya komputasi 100 mesin penambangan kepada 105 orang demi memperoleh keuntungan berlebih pada akhirnya menjadikan istilah tersebut setara dengan kebohongan.

Kekuatan komputasi awan dalam artikel ini mengacu secara khusus pada sumber daya komputasi vendor cloud berbasis GPU. Pertanyaannya di sini adalah apakah platform daya komputasi terdesentralisasi adalah boneka front-end dari vendor cloud atau pembaruan versi berikutnya.

Integrasi antara vendor cloud tradisional dan blockchain lebih dalam dari yang kita bayangkan. Misalnya, node rantai publik, pengembangan, dan penyimpanan harian pada dasarnya akan berkisar pada AWS, Alibaba Cloud, dan Huawei Cloud, sehingga menghilangkan investasi mahal untuk membeli perangkat keras fisik. Hal ini tidak dapat diabaikan. Dalam kasus yang ekstrim, mencabut kabel jaringan akan menyebabkan rantai publik terputus, yang merupakan pelanggaran serius terhadap semangat desentralisasi.

Di sisi lain, platform daya komputasi terdesentralisasi baik secara langsung membangun “ruang komputer” untuk menjaga stabilitas jaringan, atau secara langsung membangun jaringan insentif, seperti strategi airdrop IO.NET untuk meningkatkan jumlah GPU, dan penyimpanan Filecoin untuk mengirim token FIL. titik awalnya bukanlah untuk memenuhi kebutuhan penggunaan, namun untuk memberdayakan token. Salah satu buktinya adalah bahwa produsen besar, individu, atau institusi akademik jarang benar-benar menggunakannya untuk pelatihan ML, penalaran, atau rendering grafis, sehingga mengakibatkan pemborosan sumber daya yang serius.

**Hanya saja dalam menghadapi kenaikan harga mata uang dan sentimen FOMO, semua tuduhan bahwa daya komputasi terdesentralisasi adalah penipuan daya komputasi awan telah hilang. **

Apakah dua jenis daya komputasi memiliki nama dan keberuntungan yang sama?

Inferensi dan FLOPS, mengukur daya komputasi GPU

**Persyaratan daya komputasi model AI berkembang dari pelatihan hingga inferensi. **

Kita ambil contoh Sora OpenAI, meski juga diproduksi berdasarkan teknologi Transformer, namun ukuran parameternya dibandingkan dengan triliunan GPT-4. Kalangan akademisi berspekulasi di bawah ratusan miliar, bahkan Yang Likun mengatakan demikian. hanya 3 miliar, yaitu pelatihan Biayanya rendah, yang juga sangat mudah dipahami, dan sumber daya komputasi yang diperlukan untuk sejumlah kecil parameter juga dilemahkan secara proporsional.

Namun pada gilirannya, Sora mungkin memerlukan kemampuan “penalaran” yang lebih kuat. Penalaran dapat dipahami sebagai kemampuan untuk menghasilkan video tertentu sesuai dengan instruksi. Video telah lama dianggap sebagai konten kreatif, sehingga memerlukan kemampuan pemahaman AI yang lebih kuat, dan pelatihannya relatif sederhana. . Hal ini dapat dipahami sebagai merangkum aturan berdasarkan konten yang ada, menumpuk daya komputasi tanpa otak, dan bekerja keras untuk menciptakan keajaiban.

Di masa lalu, kekuatan komputasi AI terutama digunakan untuk pelatihan, dan sebagian kecil digunakan untuk kemampuan penalaran, dan pada dasarnya dicakup oleh berbagai produk NVIDIA. Namun, setelah munculnya Groq LPU (Language Processing Unit), segalanya mulai berubah, dan kemampuan Penalaran yang lebih baik, model-model besar yang ditumpangkan untuk memperkecil dan meningkatkan akurasi, dan logika otak untuk berbicara perlahan-lahan menjadi arus utama.

Selain itu saya ingin menambahkan klasifikasi GPU. Sering terlihat bahwa mereka yang bermain game menyimpan AI. Yang masuk akal adalah kuatnya permintaan GPU performa tinggi di pasar game mencakup penelitian dan pengembangan. Misalnya, 4090 kartu grafis, yang dapat digunakan untuk bermain game dan alkimia AI, tetapi perlu dicatat bahwa kartu permainan dan kartu komputasi secara bertahap akan dipisahkan. Proses ini mirip dengan pengembangan mesin penambangan Bitcoin dari komputer pribadi hingga mesin penambangan khusus, dan chip yang digunakan juga mengikuti urutan dari CPU, GPU, FPGA, dan ASIC.

Kartu khusus LLM sedang dalam pengembangan…

Seiring dengan semakin matang dan majunya teknologi AI, khususnya jalur LLM, akan semakin banyak upaya serupa di TPU, DPU, dan LPU. Tentu saja, produk utama saat ini adalah GPU NVIDIA. Semua pembahasan di bawah ini juga didasarkan pada GPU dan LPU . Menunggu lebih banyak lagi adalah tambahan pada GPU, dan perlu beberapa waktu untuk menggantinya sepenuhnya.

**Persaingan kekuatan komputasi yang terdesentralisasi tidak bersaing untuk mendapatkan saluran akuisisi GPU, namun berupaya untuk membangun model keuntungan baru. **

Pada tulisan ini, NVIDIA hampir menjadi protagonis.Pada dasarnya NVIDIA menguasai 80% pasar kartu grafis.Perselisihan antara kartu N dan kartu A hanya ada dalam teori.Pada kenyataannya, semua orang berbicara tentang integritas.

Monopoli absolut telah menciptakan persaingan yang ketat untuk GPU, mulai dari RTX 4090 tingkat konsumen hingga A100/H100 tingkat perusahaan, dan berbagai vendor cloud adalah kekuatan utama dalam persediaan tersebut. Namun, perusahaan terkait AI seperti Google, Meta, Tesla, dan OpenAI semuanya memiliki tindakan atau rencana untuk memproduksi chip buatan sendiri, dan perusahaan dalam negeri telah beralih ke produsen dalam negeri seperti Huawei, dan jalur GPU masih sangat ramai.

Untuk vendor cloud tradisional, yang mereka jual sebenarnya adalah daya komputasi dan ruang penyimpanan, jadi apakah akan menggunakan chip mereka sendiri tidak begitu mendesak seperti perusahaan AI. Namun, untuk proyek daya komputasi yang terdesentralisasi, mereka saat ini berada di paruh pertama, yaitu, dibandingkan dengan cloud tradisional Produsen bersaing dalam bisnis daya komputasi, dengan fokus pada daya komputasi yang murah dan mudah didapat.Namun, seperti penambangan Bitcoin di masa depan, kecil kemungkinan munculnya chip AI Web3.

Komentar tambahan, sejak Ethereum beralih ke PoS, semakin sedikit perangkat keras khusus di lingkaran mata uang. Pasar seperti ponsel Saga, akselerasi perangkat keras ZK, dan DePIN terlalu kecil. Saya berharap kekuatan komputasi terdesentralisasi dapat dieksplorasi untuk kartu daya komputasi AI khusus. Ciptakan jalur unik untuk Web3.

**Daya komputasi terdesentralisasi adalah langkah berikutnya atau pelengkap bagi cloud. **

Kekuatan komputasi GPU biasanya dibandingkan di industri dengan FLOPS (Floating Point Operations Per Second), yang merupakan indikator kecepatan komputasi yang paling umum digunakan. Terlepas dari spesifikasi GPU atau tindakan pengoptimalan seperti paralelisme aplikasi, pada akhirnya hal ini berdasarkan FLOPS pada tinggi dan rendah.

Dibutuhkan sekitar setengah abad dari komputasi lokal hingga beralih ke cloud, dan konsep distribusi telah ada sejak lahirnya komputer. Didorong oleh LLM, kombinasi desentralisasi dan daya komputasi tidak lagi kabur seperti sebelumnya. Saya akan melakukannya Ringkaslah sebanyak mungkin proyek daya komputasi terdesentralisasi yang ada, dengan hanya dua dimensi:

1. Jumlah perangkat keras seperti GPU, yaitu kecepatan komputasi Menurut Hukum Moore, semakin baru GPU, semakin kuat daya komputasinya.Semakin banyak jumlah GPU dengan spesifikasi yang sama, semakin kuat daya komputasi;
2. Metode organisasi lapisan insentif, yang merupakan karakteristik industri Web3. Token ganda, fungsi tata kelola tambahan, insentif airdrop, dll. memudahkan untuk memahami nilai jangka panjang dari setiap proyek, daripada terlalu memperhatikan nilai jangka pendek. istilah harga mata uang Dalam jangka panjang, hanya melihat apakah Anda dapat memiliki atau Berapa banyak GPU yang dijadwalkan.

Dari perspektif ini, daya komputasi terdesentralisasi masih merupakan rute DePIN berdasarkan “perangkat keras + jaringan insentif yang ada”, atau arsitektur Internet masih merupakan lapisan terbawah, dan lapisan daya komputasi terdesentralisasi adalah monetisasi setelah “virtualisasi perangkat keras”, dengan fokus pada akses tanpa izin Jaringan nyata masih membutuhkan kerja sama perangkat keras.

Kekuatan komputasi harus didesentralisasi, dan GPU harus terpusat.

Dengan bantuan kerangka trilema blockchain, keamanan daya komputasi yang terdesentralisasi tidak perlu dipertimbangkan secara khusus. Masalah utamanya adalah desentralisasi dan skalabilitas. Yang terakhir adalah tujuan dari jaringan GPU, yang saat ini berada di garis depan AI. .

Berangkat dari sebuah paradoks, jika ingin menyelesaikan proyek daya komputasi terdesentralisasi, jumlah GPU di jaringan harus sebanyak mungkin. Tidak ada alasan lain. Parameter model besar seperti GPT sedang meledak, dan ada tidak ada GPU dengan skala tertentu. Tidak dapat memberikan efek pelatihan atau inferensi.

Tentu saja, dibandingkan dengan kendali mutlak vendor cloud, pada tahap saat ini, proyek daya komputasi yang terdesentralisasi setidaknya dapat mengatur mekanisme seperti tidak adanya akses dan migrasi sumber daya GPU secara gratis.Namun, karena peningkatan efisiensi modal, akankah ada peningkatan? menjadi kumpulan penambangan serupa di masa depan? Produknya mungkin tidak sama.

Dalam hal skalabilitas, GPU tidak hanya dapat digunakan untuk AI, namun komputasi awan dan rendering juga merupakan jalur yang layak. Misalnya, Render Network berfokus pada pekerjaan rendering, sementara Bittensor dan lainnya fokus pada penyediaan pelatihan model. Dari perspektif yang lebih jelas, skalabilitas setara dengan skenario dan tujuan Penggunaan.

Oleh karena itu, dua parameter tambahan dapat ditambahkan pada GPU dan jaringan insentif, yaitu desentralisasi dan skalabilitas, untuk membentuk indikator perbandingan dari empat sudut.Perlu diketahui bahwa cara ini berbeda dengan perbandingan teknis dan hanya berupa gambaran saja.

Jaringan insentif kuantitas GPU proyek skalabilitas terdesentralisasi Token tanpa pemberitahuan Gensyn + mekanisme verifikasi untuk mengevaluasi pelatihan dan inferensi AI setelah peluncuran Jaringan Render 12.000 GPU + 503 token CPU + landasan insentif tambahan + proposal + rendering sumber terbuka + pelatihan AI Akash 20.000 CPU + 262 token GPU + token sistem janji dalam sirkulasi penuh inferensi AI io.net 180.000 GPU + 28.000 CPUGPU sebagai ganti koin inferensi AI + pelatihan yang belum diterbitkan yang dijatuhkan melalui udara.

Dalam proyek-proyek yang disebutkan di atas, Jaringan Render sebenarnya sangat istimewa. Ini pada dasarnya adalah jaringan rendering terdistribusi, dan hubungannya dengan AI tidak langsung. Dalam pelatihan dan penalaran AI, semua tautan saling bertautan, baik itu SGD (stochastic gradien descending , Algoritma seperti Stochastic Gradient Descent) atau backpropagation memerlukan konsistensi, namun rendering dan tugas lainnya tidak harus demikian. Video dan gambar sering kali disegmentasi untuk memfasilitasi distribusi tugas.

Kemampuan pelatihan AI-nya sebagian besar terintegrasi dengan io.net dan ada sebagai plug-in dari io.net. Bagaimanapun, GPU berfungsi, tidak peduli seberapa kerasnya, yang lebih berwawasan ke depan adalah pembelotannya ke Solana di awal. momen diremehkan., Belakangan terbukti bahwa Solana lebih cocok untuk persyaratan rendering kinerja tinggi dan jaringan lainnya.

Yang kedua adalah rute pengembangan skala io.net yang mengganti GPU secara paksa. Saat ini, situs web resmi mencantumkan total 180.000 GPU. Ini berada di level pertama dalam proyek daya komputasi terdesentralisasi. Ada perbedaan urutan besarnya dengan lawan lainnya, dan dalam hal skalabilitas, io.net berfokus pada penalaran AI, dan pelatihan AI adalah cara kerja langsung.

Sebenarnya, pelatihan AI tidak cocok untuk penerapan terdistribusi. Bahkan untuk LLM ringan, jumlah parameter absolutnya tidak akan jauh lebih sedikit. Metode komputasi terpusat lebih hemat biaya dalam hal biaya ekonomi. Web 3 dan Titik integrasi dari AI dalam pelatihan lebih bersifat privasi data dan operasi enkripsi, seperti teknologi ZK dan FHE, dan inferensi AI Web 3 memiliki potensi besar.Di satu sisi, ia memiliki persyaratan yang relatif rendah pada kinerja komputasi GPU dan dapat mentolerir kerugian pada tingkat tertentu. , Di sisi lain, penalaran AI lebih dekat ke sisi aplikasi, dan insentif dari sudut pandang pengguna lebih besar.

Perusahaan lain yang menambang dan menukar token, Filecoin, juga telah mencapai perjanjian pemanfaatan GPU dengan io.net. Filecoin akan menggunakan 1.000 GPU-nya secara paralel dengan io.net. Ini dapat dianggap sebagai upaya bersama antara pendahulunya. Saya berharap Anda keduanya semoga beruntung…

Berikutnya adalah Gensyn yang belum diluncurkan. Kami juga akan datang ke cloud untuk evaluasi. Karena masih dalam tahap awal pembangunan jaringan, jumlah GPU belum diumumkan. Namun skenario penggunaan utamanya adalah AI pelatihan. Secara pribadi, saya merasa bahwa jumlah GPU berkinerja tinggi tidak sedikit. , setidaknya melampaui tingkat Render Network. Dibandingkan dengan inferensi AI, pelatihan AI memiliki hubungan kompetitif langsung dengan vendor cloud, dan desain mekanisme spesifik akan menjadi lebih rumit.

Secara khusus, Gensyn perlu memastikan efektivitas pelatihan model. Pada saat yang sama, untuk meningkatkan efisiensi pelatihan, Gensyn menggunakan paradigma komputasi off-chain dalam skala besar. Oleh karena itu, verifikasi model dan sistem anti-kecurangan memerlukan peran multi-pihak permainan:

• Pengirim: Pemrakarsa tugas, yang pada akhirnya membayar biaya pelatihan.
• Pemecah: melatih model dan memberikan bukti efektivitas.
• Verifier: Verifikasi validitas model.
• Pelapor: Periksa pekerjaan validator.

Secara keseluruhan, metode operasinya mirip dengan penambangan PoW + mekanisme bukti optimis. Arsitekturnya sangat kompleks. Mungkin mentransfer perhitungan ke off-chain dapat menghemat biaya, namun kompleksitas arsitektur akan membawa biaya operasi tambahan. Saat ini, desentralisasi utama daya komputasi Berfokus pada titik persimpangan penalaran AI, saya juga mendoakan semoga Gensyn beruntung.

Terakhir, ada Akash lama, yang pada dasarnya memulai bersama dengan Render Network. Akash fokus pada desentralisasi CPU, dan Render Network adalah yang pertama fokus pada desentralisasi GPU. Tanpa diduga, setelah pecahnya AI, kedua belah pihak memasuki bidang komputasi GPU + AI. Bedanya Akash lebih mementingkan penalaran.

Kunci dari peremajaan Akash adalah dengan memperhatikan masalah penambangan setelah peningkatan Ethereum. GPU yang menganggur tidak hanya dapat digunakan sebagai barang bekas oleh mahasiswi untuk penggunaan pribadi, tetapi sekarang mereka juga dapat mengerjakan AI bersama-sama. Pokoknya, mereka semua berkontribusi terhadap peradaban manusia.

Namun, satu hal yang baik tentang Akash adalah bahwa token pada dasarnya telah beredar sepenuhnya. Bagaimanapun, ini adalah proyek yang sangat lama, dan juga secara aktif mengadopsi sistem staking yang biasa digunakan di PoS. Namun, tim tersebut tampaknya lebih beragama Budha, dan mereka tidak semuda yang dirasakan io.net.

Selain itu, ada THETA untuk komputasi awan tepi, Phoenix yang menyediakan solusi khusus untuk daya komputasi AI, dan perusahaan komputasi lama dan baru seperti Bittensor dan Ritual. Karena keterbatasan ruang, kami tidak dapat mencantumkan semuanya. Terutama karena beberapa di antaranya adalah sangat sulit ditemukan. Kurang dari jumlah GPU dan parameter lainnya.

Kesimpulan

Sepanjang sejarah perkembangan komputer, versi desentralisasi dari berbagai paradigma komputasi dapat dibangun. Satu-satunya penyesalan adalah bahwa mereka tidak berdampak pada aplikasi arus utama. Proyek komputasi Web3 saat ini terutama merupakan promosi diri dalam industri. Pendiri Near pergi ke konferensi GTC Itu juga karena kepenulisan Transformer, bukan status pendiri Near.

Yang lebih pesimistis lagi adalah ukuran dan pemain pasar komputasi awan saat ini terlalu kuat. Bisakah io.net menggantikan AWS? Jika ada cukup GPU, itu sangat mungkin. Lagi pula, AWS telah lama menggunakan Redis open source sebagai landasannya. komponen.

Dalam arti tertentu, kekuatan open source dan desentralisasi tidaklah setara. Proyek yang terdesentralisasi terlalu terkonsentrasi di bidang keuangan seperti DeFi, dan AI mungkin merupakan jalan utama untuk memasuki pasar arus utama.

referensi:

_2024-03-06_Ai.pdf