ME News ニュース、5月19日(UTC+8)、動察Beatingの監視によると、字节跳动(ByteDance Research)は正式にネイティブの統一多模態大規模モデルLanceをオープンソース化しました。これは、活性化パラメータがわずか3Bの軽量モデルであり、単一のフレームワーク内で画像と動画の理解、生成、編集を同時にサポートします。現在主流の統一モデルはパラメータ規模の拡大や文生図アーキテクチャの採用に大きく依存していますが、Lanceは非常に低い計算能力の協調ルートを実現しています。研究開発チームはモデルをゼロから完全に訓練し、全訓練サイクルの総計算予算を128枚のA100 GPUに抑えました。異なるモダリティとタスク間の内部衝突を解決するために、Lanceはアーキテクチャ上で二つの硬性隔離を行っています:
128枚A100からゼロから訓練!バイトがオープンソース化した3B全能多モーダルモデルLance
ME News ニュース、5月19日(UTC+8)、動察Beatingの監視によると、字节跳动(ByteDance Research)は正式にネイティブの統一多模態大規模モデルLanceをオープンソース化しました。これは、活性化パラメータがわずか3Bの軽量モデルであり、単一のフレームワーク内で画像と動画の理解、生成、編集を同時にサポートします。現在主流の統一モデルはパラメータ規模の拡大や文生図アーキテクチャの採用に大きく依存していますが、Lanceは非常に低い計算能力の協調ルートを実現しています。研究開発チームはモデルをゼロから完全に訓練し、全訓練サイクルの総計算予算を128枚のA100 GPUに抑えました。異なるモダリティとタスク間の内部衝突を解決するために、Lanceはアーキテクチャ上で二つの硬性隔離を行っています:
極端な計算能力の圧縮にもかかわらず、性能の上限は下がっていません。わずか3Bの活性化パラメータで、Lanceの画像と動画の生成および編集のパフォーマンスは、ほとんどすべてのベンチマークテストで既存のオープンソース統一モデルをリードし、多タスクの協調により少ないパラメータで生成と意味理解の両立を低コストで実現するルートを走っています。(出典:BlockBeats)