Judul Asli: Tesis AI Crypto Kami (Bagian II): Komputasi Terdesentralisasi adalah Raja

Penulis asli: Teng Yan, enkripsi peneliti

Terjemahan Asli: TechFlow Deep Tide

Selamat pagi! Akhirnya datang juga.

Konten dari makalah kami sangat kaya, dan untuk memudahkan pemahaman (sekaligus menghindari batasan ukuran dari penyedia layanan email), saya memutuskan untuk membaginya menjadi beberapa bagian dan membagikannya secara bertahap dalam satu bulan ke depan. Sekarang, mari kita mulai!

Sebuah kesalahan besar yang tidak pernah bisa saya lupakan.

Hal ini masih membuat saya merasa menyesal, karena ini adalah peluang yang jelas bagi siapa saja yang mengikuti pasar, tetapi saya melewatinya dan tidak menginvestasikan sepeser pun.

Tidak, ini bukanlah pembunuh Solana berikutnya, dan bukan pula memecoin seekor anjing yang mengenakan topi lucu.

Ini adalah... NVIDIA.

Kinerja harga saham NVDA sejak awal tahun ini. Sumber: Google

Dalam waktu hanya satu tahun, Kapitalisasi Pasar NVIDIA melonjak dari 1 triliun dolar menjadi 3 triliun dolar, sahamnya naik tiga kali lipat, bahkan melampaui kinerja BTC dalam periode yang sama.

Tentu saja, sebagian di antaranya didorong oleh demam AI. Tetapi yang lebih penting, pertumbuhan ini memiliki dasar nyata yang kuat. Pendapatan NVIDIA mencapai 600 miliar dolar AS pada tahun keuangan 2024, naik 126% dari tahun 2023. Di balik pertumbuhan yang menakjubkan ini, adalah perang saingan global perusahaan teknologi raksasa untuk membeli GPU, untuk memperebutkan posisi unggul dalam perlombaan persenjataan kecerdasan buatan umum (AGI).

Mengapa saya melewatinya?

Dalam dua tahun terakhir, perhatian saya sepenuhnya tertuju pada bidang Aset Kripto, tanpa mengikuti perkembangan di bidang AI. Ini adalah kesalahan besar yang membuat saya menyesal sampai saat ini.

Tapi kali ini, saya tidak akan membuat kesalahan yang sama.

Hari ini Crypto AI memberi saya perasaan yang akrab.

Kami berada tepat di ambang ledakan inovasi. Ini memiliki kesamaan yang luar biasa dengan demam emas California pertengahan abad ke-19 - industri dan kota tumbuh dengan cepat dalam semalam, infrastruktur berkembang pesat, dan para petualang berani meraup keuntungan besar.

Sama seperti awal NVIDIA, Crypto AI akan terlihat begitu jelas ketika dilihat kembali di masa depan.

Crypto AI: Peluang Investasi Tanpa Batas

· Banyak orang masih menganggapnya sebagai 'gedung di udara'.

· Crypto AI saat ini berada pada tahap awal, mungkin masih memerlukan waktu 1-2 tahun menuju puncak spekulasi.

· Bidang ini memiliki potensi naik senilai setidaknya 2,300 miliar dolar.

Inti dari Crypto AI adalah menggabungkan kecerdasan buatan dengan infrastruktur enkripsi. Hal ini membuatnya lebih mungkin berkembang seiring dengan jejak naik AI, daripada mengikuti pasar enkripsi yang lebih luas. Oleh karena itu, untuk tetap unggul, Anda perlu ikuti penelitian AI terbaru di Arxiv dan berinteraksi dengan para pendiri yang yakin bahwa mereka sedang membangun peristiwa besar berikutnya.

Empat Bidang Inti Crypto AI

Dalam bagian kedua makalah saya, saya akan fokus menganalisis empat subdomain Crypto AI yang paling menjanjikan:

1. Komputasi Desentralisasi: Pelatihan Model, Inferensi, dan Pasar Transaksi GPU

2. jaringan data

3. Dapat diverifikasi AI

4. AI agen cerdas yang berjalan di on-chain

Artikel ini adalah hasil dari beberapa minggu penelitian mendalam serta interaksi dengan pendiri dan tim di bidang Crypto AI. Ini bukanlah analisis rinci dari setiap bidang, tetapi merupakan peta jalan tingkat tinggi yang bertujuan untuk membangkitkan rasa ingin tahu Anda, membantu Anda mengoptimalkan arah penelitian, dan membimbing keputusan investasi Anda.

Blueprints Ekosistem Crypto AI

Saya membayangkan ekosistem Desentralisasi AI sebagai struktur bertingkat: dimulai dari komputasi Desentralisasi dan jaringan data terbuka di satu ujung, yang menyediakan dasar untuk pelatihan model AI Desentralisasi.

Semua input dan output inferensi diverifikasi melalui kriptografi, insentif ekonomi enkripsi, dan jaringan evaluasi. Hasil yang diverifikasi ini mengalir ke agen kecerdasan buatan yang berjalan sendiri on-chain, serta aplikasi AI konsumen dan perusahaan yang dapat dipercaya oleh pengguna.

Koordinasi jaringan menghubungkan seluruh ekosistem, mencapai komunikasi dan kerjasama yang mulus.

Dalam visi ini, tim pengembang AI mana pun dapat mengakses satu atau lebih tingkat dalam ekosistem sesuai dengan kebutuhan mereka. Baik itu melalui pelatihan model menggunakan komputasi Desentralisasi, atau memastikan output berkualitas tinggi melalui evaluasi jaringan, ekosistem ini menyediakan beragam pilihan.

Berkat komposabilitas blockchain, saya percaya kita sedang menuju ke masa depan yang modular. Setiap lapisan akan sangat dioptimalkan untuk fungsi tertentu, bukan menggunakan solusi terpadu.

Dalam beberapa tahun terakhir, setiap lapisan Desentralisasi AI telah melihat banyak perusahaan startup yang menunjukkan lonjakan 'era kambrion'. Sebagian besar perusahaan ini didirikan hanya dalam 1-3 tahun. Hal ini menunjukkan bahwa kita masih berada di tahap awal industri ini.

Dalam diagram ekosistem perusahaan Crypto AI yang pernah saya lihat, versi paling komprehensif dan terbaru dikelola oleh Casey dari topology.vc dan timnya. Ini adalah sumber daya yang tak dapat diabaikan bagi siapa pun yang ingin mengikuti perkembangan di bidang ini.

Ketika saya menyelidiki berbagai sub-bidang Crypto AI, saya selalu berpikir: seberapa besar peluang di sini? Saya mengikuti peluang besar yang dapat berkembang hingga skala 100 milyar dolar, bukan pasar kecil.

1. Ukuran Pasar

Saat mengevaluasi ukuran pasar, saya akan bertanya pada diri sendiri: apakah sub-bidang ini menciptakan pasar baru, atau sedang mengguncang pasar yang ada?

Mengambil contoh Desentralisasi, ini adalah area yang khas untuk perubahan besar. Potensinya dapat dihitung dengan pasar komputasi awan yang sudah ada. Saat ini, pasar komputasi awan memiliki nilai sekitar 680 miliar USD dan diharapkan akan mencapai 2,5 kuadriliun USD pada tahun 2032.

Dibandingkan dengan itu, pasar baru seperti agen kecerdasan buatan (AI) jauh lebih sulit untuk diukur. Karena kurangnya data historis, kita hanya bisa mengestimasinya melalui penilaian intuisi dan spekulasi yang masuk akal terkait kemampuannya dalam menyelesaikan masalah. Namun, perlu diwaspadai bahwa terkadang produk yang tampaknya merupakan pasar baru sebenarnya hanya merupakan hasil dari 'mencari solusi untuk masalah'.

2. Waktu

Waktu adalah kunci keberhasilan. Meskipun teknologi biasanya terus ditingkatkan dan menjadi lebih murah seiring berjalannya waktu, namun kecepatan kemajuan di berbagai bidang sangat berbeda.

Dalam bidang tertentu, seberapa matangnya teknologi? Apakah sudah cukup matang untuk diterapkan secara besar-besaran? Atau masih dalam tahap penelitian dan akan memerlukan beberapa tahun lagi sebelum dapat diaplikasikan secara nyata? Waktu akan menentukan apakah suatu bidang layak untuk diikuti secara langsung, atau sebaiknya diamati untuk sementara waktu.

Mengambil Enkripsi Homomorfik Penuh (Fully Homomorphic Encryption, FHE) sebagai contoh: potensinya tidak dapat disangkal, tetapi kinerja teknis saat ini masih terlalu lambat untuk menerapkan secara massal. Mungkin perlu beberapa tahun lagi sebelum kita melihatnya masuk ke pasar utama. Oleh karena itu, saya akan lebih memprioritaskan ikuti bidang-bidang di mana teknologi sudah mendekati penggunaan massal, dan fokuskan waktu dan energi saya pada peluang yang sedang berkembang.

Jika domain-domain ini digambarkan dalam grafik 'Ukuran Pasar vs. Waktu', mungkin akan terlihat seperti ini. Perlu dicatat bahwa ini hanya sketsa konseptual, bukan panduan yang ketat. Setiap domain juga memiliki kompleksitas internal—misalnya, dalam inferensi yang dapat diverifikasi (verifiable inference), berbagai pendekatan (seperti zkML dan opML) berada pada tahap kematangan teknis yang berbeda.

Meskipun begitu, saya yakin bahwa skala masa depan AI akan sangat besar. Bahkan di bidang yang tampaknya 'niche' hari ini, mungkin akan menjadi pasar penting di masa depan.

Pada saat yang sama, kita juga perlu menyadari bahwa kemajuan teknologi tidak selalu berkembang secara linear - seringkali maju dalam lompatan. Ketika terjadi terobosan teknologi baru, pandangan saya terhadap peluang pasar dan skala juga akan disesuaikan.

Berdasarkan kerangka di atas, selanjutnya kita akan secara bertahap memecah subdomain Crypto AI dan mengeksplorasi potensi pengembangan dan peluang investasi mereka.

Domain 1: Desentralisasi Computing

Ringkasan

· Desentralisasi计算是整个Desentralisasi AI 的核心支柱。

· Pasar GPU, pelatihan Desentralisasi, dan inferensi Desentralisasi saling terkait erat, saling berkembang bersama.

· Sumber pasokan utama berasal dari pusat data skala kecil dan pengguna biasa dengan peralatan GPU.

· Sisi permintaan saat ini masih relatif kecil, tetapi sedang naik secara bertahap, terutama melibatkan pengguna yang peka terhadap harga, tidak terlalu memperhatikan latensi, dan beberapa perusahaan startup AI yang berukuran kecil.

Tantangan terbesar yang dihadapi pasar GPU Web3 saat ini adalah bagaimana membuat jaringan ini benar-benar efisien dalam beroperasi.

· Dalam penggunaan GPU di jaringan Desentralisasi, diperlukan teknologi rekayasa yang canggih dan desain arsitektur jaringan yang kokoh.

1.1 Pasar GPU / Jaringan Komputasi

Saat ini, beberapa tim Crypto AI sedang membangun jaringan GPU Desentralisasi untuk memanfaatkan kolam sumber daya komputasi yang belum dimanfaatkan sepenuhnya di seluruh dunia, guna mengatasi kebutuhan GPU yang jauh melebihi pasokan saat ini.

Nilai inti pasar GPU ini dapat disimpulkan menjadi tiga hal berikut:

Menghitung biaya dapat menjadi lebih rendah hingga 90% dibandingkan dengan AWS. Sumber biaya rendah ini berasal dari dua hal: pertama, menghilangkan perantara, dan kedua, membuka sisi pasokan. Pasar-pasar ini memungkinkan pengguna mengakses sumber daya komputasi dengan biaya margin terendah di seluruh dunia.

1. Tidak perlu mengikat kontrak jangka panjang, tidak perlu verifikasi identitas (KYC), tidak perlu menunggu persetujuan.

2. Kemampuan tahan terhadap pemeriksaan

3. Untuk mengatasi masalah pasokan di pasar, pasar-pasar ini mendapatkan sumber daya komputasi dari sumber-sumber berikut:

· GPU Tingkat Perusahaan: Seperti GPU kinerja tinggi seperti A100 dan H100, perangkat ini biasanya berasal dari pusat data skala kecil (mereka sulit menemukan cukup banyak pelanggan saat beroperasi secara independen) atau dari BTCPenambang yang ingin diversifikasi sumber pendapatan mereka. Selain itu, ada beberapa tim yang memanfaatkan proyek infrastruktur besar yang didanai pemerintah, di mana proyek-proyek tersebut membangun sejumlah besar pusat data sebagai bagian dari pengembangan teknologi. Pemasok-pemasok ini biasanya termotivasi untuk terus menghubungkan GPU ke jaringan untuk membantu mengimbangi biaya penyusutan perangkat.

· GPU Tingkat Konsumen: Jutaan pemain dan pengguna rumahan menghubungkan komputer mereka ke jaringan dan mendapatkan keuntungan dengan imbalan TOKEN.

Saat ini, permintaan komputasi Desentralisasi didominasi oleh beberapa jenis pengguna berikut:

1. Pengguna yang sensitif terhadap harga dan tidak terlalu memperhatikan latensi: misalnya peneliti dengan anggaran terbatas, pengembang AI independen, dll. Mereka lebih mengikuti biaya daripada kemampuan pemrosesan real-time. Karena keterbatasan anggaran, mereka seringkali sulit membayar biaya yang tinggi dari layanan awan tradisional (seperti AWS atau Azure). Pemasaran yang tepat sasaran sangat penting untuk kelompok ini.

2. Perusahaan AI Start-up Kecil: Perusahaan-perusahaan ini membutuhkan sumber daya komputasi yang fleksibel dan dapat diperluas, namun tidak ingin menandatangani kontrak jangka panjang dengan penyedia layanan cloud besar. Menarik perhatian kelompok ini memerlukan peningkatan kerja sama bisnis, karena mereka sedang aktif mencari solusi alternatif di luar komputasi cloud tradisional.

3. Startup Crypto AI: Perusahaan-perusahaan ini sedang mengembangkan produk AI Desentralisasi, tetapi jika tidak memiliki sumber daya komputasi sendiri, mereka perlu bergantung pada jaringan Desentralisasi ini.

4. Cloud Gaming: Although not directly related to AI, the demand for GPU resources in cloud gaming is increasing rapidly.

Satu hal yang perlu diingat adalah: pengembang selalu memprioritaskan biaya dan kehandalan.

Tantangan Sebenarnya: Permintaan, Bukan Penawaran

Banyak perusahaan startup menganggap skala jaringan pasokan GPU sebagai tanda kesuksesan, tetapi sebenarnya ini hanya merupakan 'indikator kesombongan'.

Bottlenecks are actually on the demand side, not the supply side. The key indicator of success is not how many GPUs are in the network, but the utilization rate of GPUs and the actual number of GPUs rented.

Mekanisme insentif Token sangat efektif dalam memulai sisi pasokan, dapat dengan cepat menarik sumber daya untuk bergabung dengan jaringan. Namun, mereka tidak dapat langsung mengatasi masalah kekurangan permintaan. Tantangan sebenarnya adalah dapatkah produk dibuat cukup baik sehingga memicu permintaan yang potensial.

Seperti yang dikatakan oleh Haseeb Qureshi (dari Dragonfly), inilah kuncinya.

Biarkan jaringan komputasi benar-benar berjalan

Saat ini, tantangan terbesar yang dihadapi pasar GPU terdistribusi Web3 sebenarnya adalah bagaimana membuat jaringan-jaringan ini benar-benar berjalan dengan efisien.

Ini bukanlah hal yang mudah.

Koordinasi GPU dalam jaringan terdistribusi adalah tugas yang sangat kompleks, melibatkan beberapa titik kesulitan teknis, seperti alokasi sumber daya, ekspansi beban kerja dinamis, keseimbangan beban Node dan GPU, pengelolaan latensi, transfer data, kemampuan toleransi kesalahan, dan bagaimana mengelola beragam perangkat keras yang tersebar di seluruh dunia. Masalah-masalah ini saling terkait dan membentuk tantangan teknik yang besar.

Untuk mengatasi masalah ini, diperlukan kemampuan teknik yang sangat solid dan arsitektur jaringan yang kokoh dan dirancang dengan baik.

Untuk lebih memahami hal ini, Anda dapat merujuk kepada sistem Kubernetes dari Google. Kubernetes secara luas dianggap sebagai standar emas dalam ranah penjadwalan kontainer, dapat mengotomatisasi penyeimbangan beban dan perluasan dalam lingkungan terdistribusi, masalah ini sangat mirip dengan tantangan yang dihadapi jaringan GPU terdistribusi. Perlu dicatat bahwa Kubernetes dikembangkan berdasarkan pengalaman komputasi terdistribusi Google selama lebih dari sepuluh tahun, meskipun demikian, diperlukan beberapa tahun untuk menyempurnakannya melalui iterasi yang berkelanjutan.

Saat ini, beberapa pasar komputasi GPU yang sudah diluncurkan dapat menangani beban kerja skala kecil, tetapi ketika mencoba untuk diperluas ke skala yang lebih besar, masalahnya akan terungkap. Hal ini mungkin disebabkan oleh adanya cacat mendasar dalam desain arsitektur mereka.

Masalah Kepercayaan: Tantangan dan Peluang

Salah satu masalah penting yang perlu diselesaikan oleh jaringan komputasi Desentralisasi lainnya adalah bagaimana memastikan keandalan Node, yaitu bagaimana memverifikasi apakah setiap Node benar-benar menyediakan kemampuan komputasi yang diklaimnya. Saat ini, proses verifikasi ini sebagian besar bergantung pada sistem reputasi jaringan, terkadang penyedia komputasi akan diurutkan berdasarkan skor reputasi. Teknologi blockchain memiliki keunggulan alami dalam bidang ini, karena dapat menerapkan mekanisme verifikasi tanpa kepercayaan. Beberapa perusahaan rintisan, seperti Gensyn dan Spheron, sedang mengeksplorasi cara untuk mengatasi masalah ini melalui metode tanpa kepercayaan.

Saat ini, banyak tim Web3 masih berjuang menghadapi tantangan ini, yang juga berarti peluang di bidang ini masih sangat luas.

Ukuran pasar komputasi Desentralisasi

Jadi, seberapa besar pasar jaringan komputasi Desentralisasi?

Saat ini, mungkin hanya merupakan bagian kecil dari pasar komputasi awan global (diperkirakan antara 680 hingga 2,5 triliun dolar AS). Namun, selama biaya komputasi Desentralisasi lebih rendah daripada penyedia layanan awan tradisional, permintaan pasti akan ada, meskipun ada beberapa hambatan tambahan dalam pengalaman pengguna.

Saya percaya bahwa dalam jangka pendek hingga menengah, biaya perhitungan Desentralisasi akan tetap rendah. Ini terutama karena dua hal: subsidi Token dan pengungkapan pasokan dari pengguna yang tidak sensitif terhadap harga. Misalnya, jika saya dapat menyewakan laptop gaming saya untuk menghasilkan pendapatan tambahan, apakah itu $20 atau $50 per bulan, saya akan merasa puas.

Potensi sebenarnya dari jaringan komputasi Desentralisasi, serta perluasan signifikan dari skala pasarnya, akan bergantung pada beberapa faktor kunci berikut:

1. Kemungkinan Pelatihan Model AI Desentralisasi: Ketika jaringan Desentralisasi mampu mendukung pelatihan model AI, ini akan membawa permintaan pasar yang besar.

2. Lonjakan Permintaan Inferensi: Dengan meningkatnya permintaan inferensi AI, pusat data yang ada mungkin tidak dapat memenuhi permintaan ini. Faktanya, tren ini sudah mulai terlihat. Jensen Huang dari NVIDIA mengatakan bahwa permintaan inferensi akan naik 'sejuta kali'.

3. Pengenalan protokol Layanan Level (SLAs): Saat ini, komputasi Desentralisasi umumnya menyediakan layanan dengan pendekatan 'best-effort', yang dapat menyebabkan ketidakpastian dalam kualitas layanan (seperti waktu operasional normal). Dengan adanya SLAs, jaringan-jaringan ini dapat menyediakan standar kehandalan dan kinerja yang terstandarisasi, sehingga mengatasi hambatan utama yang dihadapi oleh perusahaan dalam mengadopsi komputasi Desentralisasi sebagai alternatif yang layak untuk komputasi awan tradisional.

Desentralisasi、无需许可的计算是Desentralisasi AI 生态系统的基础层，也是其最重要的基础设施之一。

Meskipun hardware seperti GPU Rantai Pasokan terus berkembang, saya percaya bahwa kita masih berada pada tahap awal dari 'era kecerdasan manusia'. Di masa depan, kebutuhan akan kemampuan komputasi akan terus meningkat.

Tolong ikuti titik balik kunci yang mungkin memicu penentuan harga ulang pasar GPU - titik balik ini mungkin segera datang.

Catatan Lain:

· Persaingan pasar GPU murni sangat sengit, tidak hanya antara platform Desentralisasi, tetapi juga menghadapi munculnya platform awan AI Web2 yang kuat (seperti Vast.ai dan Lambda).

Node kecil (misalnya 4 GPU H100) memiliki penggunaan yang terbatas, sehingga permintaan pasar tidak begitu besar. Namun, hampir tidak mungkin menemukan pemasok yang menjual klaster besar karena permintaannya masih sangat tinggi.

· Apakah sumber daya komputasi Desentralisasi protokol akan diintegrasikan oleh pemimpin tunggal atau tetap tersebar di berbagai pasar? Saya lebih condong pada yang pertama dan percaya bahwa hasil akhirnya akan menunjukkan distribusi yang berlawanan, karena integrasi cenderung meningkatkan efisiensi infrastruktur. Tentu saja, proses ini membutuhkan waktu, dan selama periode ini, pasar akan terus tetap terfragmentasi dan kacau.

Pengembang lebih memilih fokus pada membangun aplikasi daripada menghabiskan waktu untuk menangani masalah implementasi dan konfigurasi. Oleh karena itu, pasar komputasi memerlukan penyederhanaan kompleksitas ini dan mengurangi gesekan sebanyak mungkin bagi pengguna dalam mendapatkan sumber daya komputasi.

1.2 Desentralisasi训练

Kesimpulan

Jika hukum penskalaan terbukti, maka pelatihan model AI generasi mendatang di pusat data tunggal akan menjadi tidak mungkin secara fisik.

· Pelatihan model AI memerlukan transfer data antar GPU dalam jumlah besar, sementara kecepatan interkoneksi rendah dari jaringan GPU terdistribusi biasanya menjadi hambatan teknis terbesar.

Peneliti sedang menjelajahi berbagai solusi dan telah mencapai kemajuan signifikan (seperti Open DiLoCo dan DisTrO). Inovasi teknologi ini akan memiliki efek berlipat ganda, mempercepat perkembangan pelatihan Desentralisasi.

Masa depan pelatihan Desentralisasi mungkin lebih fokus pada model kecil dan khusus yang dirancang untuk bidang tertentu daripada model terdepan untuk AGI.

· Dengan semakin populer model seperti o1 dari OpenAI, permintaan inferensi akan mengalami pertumbuhan yang pesat, ini juga menciptakan peluang besar bagi jaringan inferensi Desentralisasi.

Bayangkan ini: sebuah model AI yang besar dan mengubah dunia, bukan dikembangkan oleh laboratorium rahasia yang paling terkemuka, tetapi oleh jutaan orang biasa. GPU para pemain game tidak lagi hanya digunakan untuk merender grafis keren dalam 'Call of Duty', tetapi digunakan untuk mendukung tujuan yang lebih besar - sebuah model AI yang dimiliki secara kolektif dan Sumber Terbuka, tanpa ada pengawas terpusat.

Di masa depan seperti ini, model AI dengan skala dasar bukan lagi domain eksklusif laboratorium terkemuka, tetapi hasil partisipasi semua orang.

Namun kembali ke kenyataan, saat ini sebagian besar pelatihan AI berat masih terpusat di pusat data terpusat, kecenderungan ini mungkin tidak akan berubah dalam waktu dekat.

Perusahaan seperti OpenAI terus memperluas skala klaster GPU besar mereka. Elon Musk baru-baru ini mengungkapkan bahwa xAI akan segera menyelesaikan pusat data yang GPU-nya setara dengan 20.000 H100.

Tetapi masalahnya bukan hanya tentang jumlah GPU. Google dalam makalah PaLM tahun 2022 mengusulkan indikator kunci - Tingkat Pemanfaatan Model FLOPS (Model FLOPS Utilization, MFU), yang digunakan untuk mengukur tingkat pemanfaatan kemampuan komputasi GPU. Yang mengejutkan, tingkat pemanfaatan ini biasanya hanya sekitar 35-40%.

Mengapa begitu rendah? Meskipun kinerja GPU meningkat pesat seiring dengan kemajuan hukum Moore, namun peningkatan dalam jaringan, memori, dan perangkat penyimpanan jauh tertinggal, menyebabkan bottleneck yang signifikan. Akibatnya, GPU seringkali berada dalam keadaan menganggur, menunggu penyelesaian transfer data.

Saat ini, satu-satunya alasan mendasar mengapa pelatihan AI sangat terpusat adalah efisiensi.

Pelatihan model-model besar bergantung pada teknologi kunci berikut:

· Paralel Data: Memisahkan dataset ke beberapa GPU untuk pemrosesan paralel, sehingga mempercepat proses pelatihan.

· Paralel Model: Menempatkan bagian-bagian berbeda dari model ke beberapa GPU untuk mengatasi batasan memori.

Persyaratan teknis ini melibatkan pertukaran data yang sering antara GPU, oleh karena itu kecepatan interkoneksi (yaitu kecepatan transfer data dalam jaringan) sangat penting.

Ketika biaya pelatihan model AI saat ini dapat mencapai 1 miliar dolar, setiap peningkatan efisiensi sangat penting.

Pusat data terdesentralisasi dengan teknologi interkoneksi berkecepatan tinggi dapat menghemat biaya secara signifikan dalam waktu pelatihan dengan mengirimkan data dengan cepat antara GPU. Ini sesuatu yang masih sulit untuk ditandingi oleh jaringan Desentralisasi... setidaknya untuk saat ini.

Mengatasi kecepatan interkoneksi yang lambat

Jika Anda berkomunikasi dengan para praktisi di bidang AI, banyak orang mungkin mengatakan bahwa pelatihan Desentralisasi tidak memungkinkan.

Dalam arsitektur Desentralisasi, klaster GPU tidak berada di lokasi fisik yang sama, sehingga kecepatan transfer data antara mereka lambat dan menjadi hambatan utama. Proses pelatihan membutuhkan sinkronisasi dan pertukaran data GPU pada setiap langkah. Semakin jauh jaraknya, semakin tinggi latensi. Dan latensi yang lebih tinggi berarti kecepatan pelatihan menjadi lambat dan biaya meningkat.

Sebuah tugas pelatihan yang bisa diselesaikan dalam beberapa hari di pusat data terpusat, mungkin membutuhkan waktu dua minggu dalam lingkungan Desentralisasi dan biayanya lebih tinggi. Hal ini jelas tidak layak dilakukan.

Namun, situasi ini mulai berubah.

Menggembirakan bahwa popularitas penelitian pelatihan terdistribusi Naik dengan cepat. Para peneliti sedang mengeksplorasi dari banyak arah sekaligus, dan banyak hasil penelitian dan makalah yang baru-baru ini muncul adalah bukti nyata. Kemajuan teknologi ini akan menghasilkan efek gabungan dan mempercepat perkembangan pelatihan Desentralisasi.

Selain itu, pengujian di lingkungan produksi nyata juga sangat penting, ini dapat membantu kita melampaui batas teknologi yang ada.

Saat ini, beberapa teknologi pelatihan Desentralisasi sudah dapat menghandle model dengan skala kecil dalam lingkungan koneksi rendah. Namun, penelitian terkini sedang berusaha untuk memperluas metode ini ke model dengan skala yang lebih besar.

· Misalnya, makalah Open DiCoLo dari Prime Intellect mengusulkan metode praktis: dengan membagi GPU menjadi 'pulau-pulau', setiap pulau melakukan 500 perhitungan lokal sebelum sinkronisasi, sehingga mempengaruhi kebutuhan bandwidth hingga 1/500 dari sebelumnya. Teknologi ini awalnya dikembangkan oleh Google DeepMind untuk penelitian model-model kecil, dan kini telah berhasil diperluas untuk melatih model dengan 10 miliar parameter, dan saat ini sepenuhnya Sumber Terbuka.

Kerangka DisTrO dari Nous Research telah mencapai kemajuan lebih lanjut dengan mengurangi kebutuhan komunikasi antar GPU hingga 10.000 kali lipat melalui teknologi optimizer, sambil berhasil melatih model dengan 12 miliar parameter.

· Momentum ini terus berlanjut. Baru-baru ini, Nous mengumumkan bahwa mereka telah menyelesaikan pra-pelatihan model dengan 15 miliar parameter, dengan kurva kerugian dan kecepatan konvergensi yang bahkan melampaui kinerja pelatihan terpusat tradisional.

（Rincian Tweet）

Selain itu, metode seperti SWARM Parallelism dan DTFMHE juga sedang menjelajahi bagaimana melatih model AI skala besar di berbagai jenis perangkat, bahkan jika kecepatan dan kondisi koneksi perangkat tersebut berbeda-beda.

Tantangan lain adalah bagaimana mengelola perangkat keras GPU yang beragam, terutama GPU konsumen yang umumnya memiliki memori terbatas di jaringan Desentralisasi. Masalah ini sedang secara bertahap diatasi melalui teknologi paralel model (memisahkan lapisan model ke beberapa perangkat).

Masa Depan Pelatihan Desentralisasi

Saat ini, metode pelatihan Desentralisasi masih jauh tertinggal dalam skala model terkini (dilaporkan bahwa parameter GPT-4 mendekati satu triliun, 100 kali lipat dari model 100 miliar parameter Prime Intellect). Untuk mencapai skala yang sesungguhnya, kita perlu membuat terobosan besar dalam desain arsitektur model, infrastruktur jaringan, dan strategi alokasi tugas.

Tetapi kita dapat berani membayangkan: di masa depan, pelatihan Desentralisasi mungkin dapat mengumpulkan kekuatan komputasi GPU lebih banyak daripada pusat data terpusat terbesar.

Pluralis Research（sebuah tim yang sangat layak diikuti di bidang pelatihan Desentralisasi）percaya bahwa ini tidak hanya mungkin, tetapi juga tidak dapat dihindari. Pusat data terpusat terbatas oleh kondisi fisik seperti ruang dan pasokan listrik, sedangkan jaringan Desentralisasi dapat memanfaatkan sumber daya global yang hampir tak terbatas.

Bahkan Jensen Huang dari NVIDIA juga menyebutkan bahwa pelatihan Desentralisasi asinkron mungkin menjadi kunci untuk melepaskan potensi perluasan kecerdasan buatan. Selain itu, jaringan pelatihan terdistribusi juga memiliki toleransi kesalahan yang lebih kuat.

Oleh karena itu, dalam satu kemungkinan di masa depan, model AI terkuat di dunia akan dilatih dengan cara Desentralisasi.

Visi ini menarik, tetapi saat ini saya masih skeptis. Kami membutuhkan bukti yang lebih kuat untuk membuktikan bahwa pelatihan model skala besar secara Desentralisasi memungkinkan secara teknis dan ekonomis.

Saya pikir, aplikasi terbaik untuk pelatihan Desentralisasi mungkin terletak pada model Sumber Terbuka yang lebih kecil dan khusus, yang dirancang untuk kasus penggunaan tertentu, bukan bersaing dengan model-model canggih yang sangat besar dan bertujuan untuk AGI. Beberapa arsitektur, terutama model non-Transformer, telah terbukti sangat cocok untuk lingkungan Desentralisasi.

Selain itu, mekanisme insentif TOKEN juga akan menjadi bagian penting di masa depan. Begitu Desentralisasi pelatihan menjadi layak dalam skala, TOKEN dapat secara efektif mendorong dan memberi penghargaan kepada kontributor, sehingga mendorong perkembangan jaringan-jaringan ini.

Meskipun jalan ke depan masih panjang, kemajuan saat ini sangat menggembirakan. Terobosan dalam pelatihan Desentralisasi tidak hanya akan bermanfaat bagi jaringan Desentralisasi, tetapi juga memberikan peluang baru bagi perusahaan teknologi besar dan laboratorium AI terkemuka...

1.3 Desentralisasi推理

Saat ini, sebagian besar sumber daya komputasi AI terpusat pada pelatihan model-model besar. Terdapat perlombaan senjata antara laboratorium AI terkemuka untuk mengembangkan model dasar terkuat dan akhirnya mencapai AGI.

Namun menurut saya, investasi sumber daya komputasi ini untuk pelatihan akan secara bertahap beralih ke inferensi dalam beberapa tahun mendatang. Seiring teknologi kecerdasan buatan semakin banyak terintegrasi dalam aplikasi yang kita gunakan sehari-hari - dari perawatan kesehatan hingga industri hiburan - sumber daya komputasi yang diperlukan untuk inferensi akan menjadi sangat besar.

Tren ini bukanlah sesuatu yang datang begitu saja. Skala komputasi saat inferensi (Inference-time Compute Scaling) telah menjadi topik hangat dalam bidang AI. Baru-baru ini, OpenAI merilis versi pratinjau/mini dari model terbaru mereka, o1 (kode nama: Strawberry), yang memiliki fitur menonjol: ia akan 'memikirkan' dalam waktu. Lebih spesifiknya, ia akan menganalisis langkah-langkah yang perlu diambil untuk menjawab pertanyaan, dan kemudian secara bertahap menyelesaikan langkah-langkah tersebut.

Model ini dirancang khusus untuk tugas yang lebih kompleks dan memerlukan perencanaan, seperti memecahkan teka-teki kata, dan dapat menangani masalah penalaran Kedalaman. Meskipun menghasilkan respons yang lambat, namun hasilnya lebih rinci dan dipertimbangkan dengan matang. Namun, desain ini juga membawa biaya operasional yang tinggi, dengan biaya penalaran 25 kali lipat dari GPT-4.

Dari tren ini, kita dapat melihat bahwa lompatan kinerja AI berikutnya tidak hanya bergantung pada pelatihan model yang lebih besar, tetapi juga akan bergantung pada perluasan kemampuan komputasi tahap inferensi.

Jika Anda ingin tahu lebih banyak, beberapa penelitian telah membuktikan:

· Melalui pencatatan ulang penghitungan inferensi, dapat memperoleh peningkatan kinerja yang signifikan dalam banyak tugas.

· Tahap penalaran juga mengikuti hukum perluasan eksponensial (Scaling Law).

Setelah model AI yang kuat dilatih, tugas inferensi mereka (yaitu tahap aplikasi sebenarnya) dapat diunggah ke jaringan komputasi yang Desentralisasi. Cara ini sangat menarik karena:

· Permintaan sumber daya untuk inferensi jauh lebih rendah daripada pelatihan. Setelah pelatihan selesai, model dapat dikompres dan dioptimalkan menggunakan teknik seperti Kuantisasi (Quantization), Pruning (Pemangkasan), atau Distilasi (Distillation). Bahkan, model dapat dibagi menggunakan Tensor Parallelism (Paralelisme Tensor) atau Pipeline Parallelism (Paralelisme Pipa) untuk dijalankan pada perangkat konsumen biasa. Inferensi tidak memerlukan penggunaan GPU kelas atas.

· Tren ini sudah mulai terlihat. Misalnya, Exo Labs telah menemukan cara untuk menjalankan model Llama3 dengan 4500 miliar parameter pada perangkat keras konsumen seperti MacBook dan Mac Mini. Dengan menjalankan tugas inferensi secara terdistribusi pada beberapa perangkat, bahkan kebutuhan komputasi berskala besar pun dapat diselesaikan dengan efisien dan biaya rendah.

· Pengalaman pengguna yang lebih baik: Menempatkan kemampuan komputasi di lokasi yang lebih dekat dengan pengguna dapat secara signifikan menurunkan latensi, hal ini sangat penting untuk aplikasi real-time seperti game, realitas tertambah (AR), atau mobil otonom - di mana setiap milidetik latensi dapat memberikan pengalaman pengguna yang berbeda.

Kita dapat membandingkan Desentralisasi dengan CDN (Content Delivery Network) AI. CDN tradisional mengirimkan konten situs web dengan cepat melalui koneksi ke server terdekat, sedangkan Desentralisasi menggunakan sumber daya komputasi lokal untuk menghasilkan respons AI dengan kecepatan yang sangat tinggi. Dengan cara ini, aplikasi AI menjadi lebih efisien, respons lebih cepat, dan juga lebih dapat diandalkan.

Tren ini sudah mulai terlihat. Chip terbaru M4 Pro yang dirilis oleh Apple memiliki kinerja yang mendekati NVIDIA RTX 3070 Ti - sebuah GPU high-performance yang dulunya hanya dimiliki oleh para pemain game hardcore. Saat ini, perangkat keras yang kita gunakan sehari-hari semakin mampu menangani beban kerja AI yang kompleks.

Memberdayakan Nilai Mata Uang Kripto

Untuk membuat jaringan Desentralisasi berhasil, peserta harus diberikan insentif ekonomi yang cukup menarik. Node komputasi dalam jaringan membutuhkan imbalan yang adil untuk kontribusi komputasi mereka, sambil memastikan keadilan dan efisiensi dalam distribusi hadiah. Selain itu, keragaman geografis juga sangat penting. Ini tidak hanya dapat mengurangi latensi tugas inferensi, tetapi juga meningkatkan toleransi kesalahan jaringan dan meningkatkan stabilitas keseluruhan.

Jadi, apa cara terbaik untuk membangun jaringan Desentralisasi? Jawabannya adalah Aset Kripto.

Token adalah alat yang kuat yang dapat menyatukan kepentingan semua peserta, memastikan bahwa setiap orang bekerja menuju tujuan yang sama: memperluas skala jaringan dan meningkatkan nilai Token.

Selain itu, Token juga dapat mempercepat pertumbuhan jaringan secara signifikan. Mereka membantu mengatasi banyak masalah klasik 'apakah ada ayam terlebih dahulu atau telur terlebih dahulu' yang dihadapi oleh banyak jaringan dalam tahap awal perkembangannya. Dengan memberikan insentif kepada pengguna awal, Token dapat mendorong lebih banyak orang untuk ikut serta dalam pembangunan jaringan sejak awal.

Keberhasilan BTC dan Ethereum telah membuktikan keefektifan mekanisme ini - mereka telah mengumpulkan kolam daya komputasi terbesar di dunia.

Jaringan Inferensi Desentralisasi akan menjadi penerus berikutnya. Dengan fitur keragaman geografis, jaringan ini dapat mengurangi latensi, meningkatkan toleransi kesalahan, dan mendekatkan layanan AI kepada pengguna. Dengan mekanisme insentif yang didukung oleh Aset Kripto, kecepatan dan efisiensi ekspansi jaringan Desentralisasi akan jauh melampaui jaringan tradisional.

Menghormati

Teng Yan

Dalam serangkaian artikel berikutnya, kami akan menggali lebih dalam tentang jaringan data dan mempelajari bagaimana mereka membantu mengatasi bottleneck data yang dihadapi oleh AI.

Pernyataan Penyangkalan

Teks ini hanya untuk tujuan pendidikan dan tidak merupakan saran keuangan apa pun. Ini bukan merupakan dukungan untuk pembelian atau keputusan keuangan. Saat memilih investasi, pastikan untuk melakukan penelitian sendiri dan tetap berhati-hati.

Tautan asli

：