OPML: Pembelajaran Mesin dengan Sistem Rollup Optimis

TL;DR

Kami mengusulkan OPML (Pembelajaran Mesin Optimis), yang dapat menggunakan metode Optimis untuk penalaran model AI dan pelatihan/penyesuaian sistem blockchain.

Dibandingkan dengan ZKML, OPML dapat menyediakan layanan ML berbiaya rendah dan berefisiensi tinggi. Persyaratan partisipasi untuk OPML rendah: kami sekarang dapat menjalankan OPML dengan model bahasa besar seperti 7B-LLaMA (ukuran model ~26GB) pada PC biasa tanpa GPU.

OPML menggunakan permainan verifikasi (mirip dengan sistem Truebit dan Optimistic Rollup) untuk menjamin desentralisasi dan konsensus layanan ML yang dapat diverifikasi.

• Pemohon terlebih dahulu memulai tugas layanan ML.
• Kemudian, server menyelesaikan tugas layanan ML dan mengirimkan hasilnya ke rantai.
• Verifikator akan memverifikasi hasilnya. Asumsikan ada validator yang mengklaim bahwa hasilnya salah. Itu memulai permainan verifikasi dengan server (perjanjian bipartit) dan mencoba untuk menyangkal klaim dengan menunjukkan langkah yang salah.
• Akhirnya, arbitrase satu langkah terjadi pada kontrak pintar.

Game Verifikasi Fase Tunggal

Protokol pinpointing fase tunggal bekerja mirip dengan delegasi perhitungan (RDoC), di mana diasumsikan bahwa dua pihak atau lebih (dengan setidaknya satu pihak yang jujur) menjalankan prosedur yang sama. Kedua belah pihak kemudian dapat mempertanyakan satu sama lain dengan tepat untuk mengidentifikasi langkah-langkah yang disengketakan. Kirim langkah-langkahnya ke hakim yang kurang kuat secara komputasi (kontrak pintar di blockchain) untuk arbitrase.

Dalam OPML satu tahap:

• Kami membangun mesin virtual (VM) untuk eksekusi off-chain dan arbitrase on-chain. Kami menjamin kesetaraan VM off-chain dan VM on-chain yang diterapkan pada kontrak cerdas.
• Untuk memastikan efisiensi inferensi model AI dalam mesin virtual, kami menerapkan pustaka DNN ringan yang dirancang khusus untuk tujuan ini, alih-alih mengandalkan kerangka kerja ML populer seperti Tensorflow atau PyTorch. Selain itu, tersedia skrip yang mengonversi model Tensorflow dan PyTorch ke pustaka ringan ini.
• Gunakan teknologi kompilasi silang untuk mengkompilasi kode penalaran model kecerdasan buatan ke dalam instruksi program mesin virtual.
• Citra mesin virtual dikelola dengan pohon Merkle, dan hanya akar Merkle yang akan diunggah ke kontrak pintar di rantai. (Root Merkel mewakili status mesin virtual)

• Perjanjian bipartit akan membantu menemukan langkah sengketa, yang akan dikirim ke kontrak arbitrase di blockchain

Performa: Kami menguji model AI dasar (model DNN untuk klasifikasi MNIST) di PC. Kami dapat menyelesaikan inferensi DNN dalam waktu 2 detik di VM, dan seluruh proses tantangan dapat diselesaikan dalam waktu 2 menit di lingkungan pengujian Ethereum lokal.

Game verifikasi multi-tahap

Keterbatasan Protokol Penentuan Fase Tunggal

Permainan verifikasi satu tahap memiliki kelemahan serius: semua kalkulasi harus dilakukan di dalam mesin virtual (VM), yang mencegah kami mengeksploitasi potensi penuh akselerasi GPU/TPU atau pemrosesan paralel. Oleh karena itu, batasan ini sangat menghambat efisiensi inferensi model besar, yang juga konsisten dengan batasan protokol RDoC saat ini.

Transisi ke Protokol Multi-Fase

Untuk mengatasi keterbatasan yang dikenakan oleh protokol fase tunggal dan memastikan bahwa OPML dapat mencapai tingkat kinerja yang sebanding dengan lingkungan asli, kami mengusulkan perpanjangan protokol multi fase. Dengan menggunakan pendekatan ini, kita hanya perlu melakukan komputasi di VM pada tahap akhir, mirip dengan protokol satu tahap. Untuk tahapan lainnya, kami memiliki fleksibilitas untuk melakukan komputasi guna mencapai transisi status di lingkungan asli, memanfaatkan kekuatan CPU, GPU, TPU, dan bahkan pemrosesan paralel. Dengan mengurangi ketergantungan pada VM, kami secara signifikan mengurangi biaya tambahan dan dengan demikian secara signifikan meningkatkan performa eksekusi OPML, hampir mirip dengan lingkungan asli.

Gambar di bawah menunjukkan permainan verifikasi yang terdiri dari dua fase (k = 2). Pada Tahap 1, prosesnya menyerupai permainan verifikasi satu tahap, di mana setiap transisi keadaan berhubungan dengan satu VM uop yang mengubah keadaan mesin virtual. Pada fase 2, transisi status sesuai dengan “instruksi besar” yang berisi banyak uops yang mengubah konteks komputasi.

Committer dan verifikator pertama-tama akan menggunakan perjanjian bipartit untuk memulai fase kedua dari permainan verifikasi untuk menemukan langkah-langkah yang disengketakan pada “pesanan besar”. Langkah ini akan dikirim ke fase berikutnya, fase -1. Tahap pertama berfungsi seperti game verifikasi satu tahap. Perjanjian bipartit Fase 1 akan membantu menemukan langkah-langkah yang disengketakan pada VM uops. Langkah ini akan dikirim ke kontrak arbitrase di blockchain.

Untuk memastikan integritas dan keamanan transisi ke fase berikutnya, kami mengandalkan pohon Merkle. Operasi ini terdiri dari mengekstraksi subpohon Merkle dari tahapan tingkat yang lebih tinggi, sehingga menjamin kelanjutan proses verifikasi yang lancar.

OPML multi-tahap

Dalam presentasi ini, kami mengusulkan pendekatan OPML dua tahap yang digunakan dalam model LLaMA:

• Proses perhitungan pembelajaran mesin (ML), khususnya jaringan syaraf dalam (DNN), dapat dinyatakan sebagai grafik perhitungan, dilambangkan dengan G. Grafik terdiri dari berbagai node komputasi yang mampu menyimpan hasil komputasi menengah.
• Penalaran model DNN pada dasarnya adalah proses perhitungan pada grafik perhitungan di atas. Seluruh grafik dapat dilihat sebagai keadaan inferensi (konteks komputasi pada Fase-2). Saat setiap node dihitung, hasilnya disimpan di node tersebut, sehingga memajukan grafik komputasi ke status berikutnya.

• Oleh karena itu, pertama-tama kita dapat melakukan verifikasi game pada graf komputasi (pada fase-2). Pada tahap kedua permainan verifikasi, perhitungan simpul grafik dapat dilakukan di lingkungan lokal menggunakan CPU atau GPU multi-threaded. Perjanjian bipartit akan membantu menemukan node yang dipersengketakan yang perhitungannya akan dikirim ke tahap selanjutnya (fase-1) dari perjanjian bipartit.
• Dalam pembagian dua fase pertama, kami mengonversi komputasi satu node menjadi instruksi mesin virtual (VM), mirip dengan apa yang dilakukan dalam protokol fase tunggal.

Perlu dicatat bahwa kami mengantisipasi pengenalan metode OPML multi-tahap (terdiri dari lebih dari dua tahap) ketika komputasi satu node dalam grafik komputasi masih kompleks secara komputasi. Perpanjangan ini selanjutnya akan meningkatkan efisiensi dan efektivitas proses validasi secara keseluruhan.

Peningkatan kinerja

Di sini, kami menyediakan diskusi singkat dan analisis kerangka kerja verifikasi multi-tahap yang kami usulkan.

Dengan asumsi bahwa ada n node dalam grafik perhitungan DNN, setiap node perlu mengambil m instruksi mikro VM untuk menyelesaikan perhitungan dalam VM. Asumsikan bahwa rasio percepatan komputasi untuk setiap node yang menggunakan GPU atau komputasi paralel adalah α. Rasio ini mewakili percepatan yang dicapai oleh GPU atau komputasi paralel dan dapat mencapai nilai yang signifikan, seringkali puluhan atau bahkan ratusan kali lebih cepat daripada eksekusi VM.

Berdasarkan pertimbangan tersebut, kami menarik kesimpulan sebagai berikut:

1. OPML dua tahap lebih unggul dari OPML satu tahap, dan mewujudkan percepatan perhitungan α kali. Penggunaan verifikasi multi-tahap memungkinkan kami memanfaatkan daya komputasi yang dipercepat yang disediakan oleh GPU atau pemrosesan paralel, sehingga secara signifikan meningkatkan kinerja secara keseluruhan.

2. Saat membandingkan ukuran pohon Merkle, kami menemukan bahwa dalam OPML dua tahap, ukurannya adalah O(m+n), sedangkan dalam OPML satu tahap, ukurannya jauh lebih besar daripada O(mn). Pengurangan ukuran pohon Merkle semakin menyoroti efisiensi dan skalabilitas desain multi-tahap.

Singkatnya, kerangka kerja verifikasi multi-tahap memberikan peningkatan kinerja yang signifikan, memastikan komputasi yang lebih efisien dan lebih cepat, terutama saat mengeksploitasi kemampuan akselerasi GPU atau pemrosesan paralel. Selain itu, pengurangan ukuran pohon Merkle meningkatkan efektivitas dan skalabilitas sistem, menjadikan OPML multi-tahap pilihan untuk berbagai aplikasi.

Konsistensi dan Determinisme

Dalam OPML, memastikan konsistensi hasil ML sangatlah penting.

Selama eksekusi asli perhitungan DNN, terutama pada platform perangkat keras yang berbeda, karena karakteristik angka floating-point, perbedaan hasil eksekusi dapat terjadi. Misalnya, perhitungan paralel yang melibatkan bilangan floating point, seperti (a+b)+c dan a+(b+c), sering menghasilkan hasil yang berbeda karena kesalahan pembulatan. Selain itu, faktor-faktor seperti bahasa pemrograman, versi kompiler, dan sistem operasi semuanya dapat memengaruhi hasil penghitungan angka titik-mengambang, yang menyebabkan ketidakkonsistenan lebih lanjut dalam hasil ML.

Untuk mengatasi tantangan ini dan menjamin konsistensi OPML, kami mengadopsi dua pendekatan utama:

1. Menggunakan algoritma titik tetap, juga dikenal sebagai teknologi kuantisasi. Teknik ini memungkinkan kita untuk merepresentasikan dan melakukan kalkulasi menggunakan presisi tetap daripada angka floating point. Dengan melakukan ini, kami mengurangi efek kesalahan pembulatan titik mengambang, menghasilkan hasil yang lebih andal dan konsisten.

2. Kami menggunakan pustaka floating-point berbasis perangkat lunak yang dirancang untuk menjaga fungsionalitas yang konsisten di berbagai platform. Pustaka ini memastikan konsistensi lintas platform dan determinisme hasil ML, terlepas dari konfigurasi perangkat keras atau perangkat lunak yang mendasarinya.

Dengan mengombinasikan aritmatika titik tetap dan pustaka titik mengambang berbasis perangkat lunak, kami telah membangun fondasi yang kuat untuk hasil ML yang konsisten dan andal dalam kerangka kerja OPML. Koordinasi teknik ini memungkinkan kami untuk mengatasi tantangan inheren yang ditimbulkan oleh variabel floating-point dan perbedaan platform, yang pada akhirnya meningkatkan integritas dan keandalan perhitungan OPML.

OPML vs ZKML

*: Dalam framework OPML saat ini, fokus utama kami adalah pada inferensi model ML, memungkinkan komputasi model yang efisien dan aman. Namun, harus ditekankan bahwa framework kami juga mendukung proses pelatihan, menjadikannya solusi umum untuk berbagai tugas pembelajaran mesin.

Perhatikan bahwa OPML masih dalam pengembangan. Jika Anda tertarik untuk menjadi bagian dari program menarik ini dan berkontribusi pada proyek OPML, jangan ragu untuk menghubungi kami.