OPML: ブロックチェーンシステム上のOptimistic機械学習

OPML(楽観的機械学習)は新しいタイプのブロックチェーンAIモデル推論とトレーニング方法です。ZKMLと比較して、OPMLはより低コストでより高い効率で機械学習サービスを提供できます。OPMLのハードウェア要件は低く、一般的なPCはGPUなしで7B-LLaMA(のような大規模言語モデルを約26GB)で実行できます。

OPMLは、MLサービスの分散化と検証可能な合意を保証するために、検証ゲームメカニズムを採用しています。

1. リクエスターがMLサービスタスクを開始します
2. サーバーはタスクを完了し、結果をブロックチェーンに提出します。
3. 検証者が結果を確認し、異議がある場合は検証ゲームを開始する
4. 最終的にスマートコントラクト上でステップバイステップの仲裁を行う

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単一段階OPMLの重要なポイント:

• チェーン外実行とチェーン上仲裁のための等価な仮想マシン(VM)
• 専用の軽量DNNライブラリを実現し、AI推論の効率を向上させる
• AIモデルの推論コードをVM命令にクロスコンパイルする
• メルクルツリーを使用してVMイメージを管理し、ルートハッシュのみをチェーンにアップロードします。

二分プロトコルは、争議のステップを特定し、それをチェーン上の仲裁契約に送信するために使用されます。

性能テストによると、基本AIモデル(MNIST分類DNN)はVM内で2秒以内に推論を完了し、全体のチャレンジプロセスはローカルイーサリアムテストネットで2分以内に完了しました。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単一段階プロトコルの限界を克服するために、私たちは多段階OPMLを提案します:

• 最後の段階のみVMで計算し、他の段階はローカル環境で実行できます
• CPU、GPU、TPUなどのハードウェアを利用して性能を向上させる
• メルクルツリーを使用して、フェーズ間の移行の完全性と安全性を確保する

LLaMAモデルを例とした二段階OPML:

1. 第二段階:計算グラフ上で検証ゲームを行うことができ、多スレッドのCPUまたはGPUを使用できます。
2. フェーズ 1: 1 つのノードを VM 命令に変換する

多段階の方法は、特に複雑な計算に対して検証効率を大幅に向上させました。

! OPML:楽観的ロールアップによる機械学習

パフォーマンス改善

DNN計算グラフにn個のノードがあると仮定し、各ノードにはm本のVM命令が必要で、GPUアクセラレーション比はα:

1. 2ステージOPMLはシングルステージよりもα倍高速です
2. 二段階OPMLのマークルツリーのサイズはO(m+n)であり、単段階のO(mn)よりもはるかに小さいです。

多段階フレームワークは計算効率とシステムのスケーラビリティを大幅に向上させました。

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

異なるハードウェアプラットフォームにおける浮動小数点計算の不一致問題を解決するために、OPMLは次のように採用しています:

1. 定点アルゴリズム(量子化技術):固定精度を使用して浮動小数点数の代わりにする
2. ソフトウェアベースのクロスプラットフォーム一貫浮動小数点ライブラリ

これらの方法は、OPMLの計算結果の一貫性と信頼性を保証します。

OPMLとZKMLの比較

OPMLはZKMLに対して以下の利点があります:

• より低いハードウェア要件
• より速い実行速度
• より大きなモデルのスケールをサポート
• より広範なMLタスクに適しています

現在、OPMLは主にモデル推論に焦点を当てていますが、フレームワークはモデル訓練プロセスもサポートしています。OPMLプロジェクトは現在も継続的に開発されており、興味のある開発者の参加と貢献を歓迎します。

! OPML:楽観的ロールアップシステムによる機械学習