概要PrismMLはステルス状態から登場し、Bonsaiという小型のオープンソースAIモデルをローンチした。このモデルは規模の割に強い知能を示し、一般消費者向けのハードウェア上で動作できる。カリフォルニアに拠点を置くAI研究ラボPrismMLは、人々が暮らし働く場所にあるデバイスへ直接高度な知能を届けることを目的とした、新しい1ビットBonsaiモデルのファミリーを発表した。大規模なデータセンターにAIを閉じ込めるのではない。 Caltechで行われた研究に基づきPrismMLが語るところでは、同社の取り組みは「知能密度」の最大化に重点を置いている。これは、モデルがサイズと導入フットプリントの単位あたりに提供できる有用な能力の指標である。このアプローチは、通常は導入可能性と効率性の代償として、モデルサイズとパラメータ数の増加を重視する従来のAI開発とは対照的だ。同ラボのフラッグシップモデルである1-bit Bonsai 8Bは、埋め込み、注意（attention）層、MLP層、出力ヘッドを含むすべてのコンポーネントで完全な1ビット設計を特徴とし、より高精度のフォールバック層はない。1.15 GBで、同一のパラメータ・クラスにおける比較対象の16ビットモデルに比べて約14倍小さい。それでもPrismMLは、標準的なベンチマークにおいて競争力のある性能を維持していると報告している。サイズを縮小したことで、iPhone、iPad、Macといったデバイスや、標準的なGPUへの導入が可能になり、従来の大規模モデルよりも高速な推論と低いメモリ使用量を実現する。PrismMLは、このブレークスルーは性能だけでなく、AIが動作できる場所にも関するものだと強調する。より小さく効率的なモデルにより、低遅延のアプリケーションが可能になり、オンデバイス計算によってプライバシーが強化され、オフライン環境や帯域が制約される環境でも機能が継続できる。 潜在的な用途には、常時稼働するオンデバイス・エージェント、リアルタイムのロボティクス、エンタープライズ向けコパイロット、そしてセキュアな環境やリソースが限られた状況向けに設計されたAIネイティブなツールが含まれる。PrismMLは、集中された知能はAIの設計空間を広げることで、システムをより応答性が高く、信頼性が高く、幅広く導入可能にすると主張している。## Bonsaiを拡張：小型の1ビットモデルがエッジデバイスへ効率と知能をもたらすBonsai 8Bに加えてPrismMLは、1-bit Bonsai 4Bおよび1.7Bというより小さなモデルも導入した。これらは、同じ効率性と知能密度の原則を、より小型のモデルサイズへ拡張するものだ。初期デモでは、ファミリー全体で高いスループット、エネルギー効率、競争力のあるベンチマーク精度が示されている。同ラボはまた、これらのモデルが現在の商用ハードウェア上で効果的に動作すること、さらに1-bit推論に最適化された将来のデバイスでは、より大きな効率向上をもたらし得ることにも言及した。PrismMLのリリースは、AI開発におけるより広範な転換を示している。つまり、単なるスケールよりも、集中された知能と携帯性を重視するということだ。同ラボは、クラウドとエッジの両方のデバイスにまたがって、高度なAIがシームレスに動作する未来を構想している。1-bit BonsaiモデルはApache 2.0ライセンスのもとで提供されており、Appleデバイス、NVIDIA GPU、そして他のさまざまなプラットフォームにわたる導入を支援する。
Concentrated Intelligence: 新しいBonsai AIモデルファミリーがデータセンターを超えた高性能AIを実現
概要
PrismMLはステルス状態から登場し、Bonsaiという小型のオープンソースAIモデルをローンチした。このモデルは規模の割に強い知能を示し、一般消費者向けのハードウェア上で動作できる。
Caltechで行われた研究に基づきPrismMLが語るところでは、同社の取り組みは「知能密度」の最大化に重点を置いている。これは、モデルがサイズと導入フットプリントの単位あたりに提供できる有用な能力の指標である。このアプローチは、通常は導入可能性と効率性の代償として、モデルサイズとパラメータ数の増加を重視する従来のAI開発とは対照的だ。
同ラボのフラッグシップモデルである1-bit Bonsai 8Bは、埋め込み、注意（attention）層、MLP層、出力ヘッドを含むすべてのコンポーネントで完全な1ビット設計を特徴とし、より高精度のフォールバック層はない。1.15 GBで、同一のパラメータ・クラスにおける比較対象の16ビットモデルに比べて約14倍小さい。それでもPrismMLは、標準的なベンチマークにおいて競争力のある性能を維持していると報告している。サイズを縮小したことで、iPhone、iPad、Macといったデバイスや、標準的なGPUへの導入が可能になり、従来の大規模モデルよりも高速な推論と低いメモリ使用量を実現する。
PrismMLは、このブレークスルーは性能だけでなく、AIが動作できる場所にも関するものだと強調する。より小さく効率的なモデルにより、低遅延のアプリケーションが可能になり、オンデバイス計算によってプライバシーが強化され、オフライン環境や帯域が制約される環境でも機能が継続できる。
潜在的な用途には、常時稼働するオンデバイス・エージェント、リアルタイムのロボティクス、エンタープライズ向けコパイロット、そしてセキュアな環境やリソースが限られた状況向けに設計されたAIネイティブなツールが含まれる。PrismMLは、集中された知能はAIの設計空間を広げることで、システムをより応答性が高く、信頼性が高く、幅広く導入可能にすると主張している。
Bonsaiを拡張：小型の1ビットモデルがエッジデバイスへ効率と知能をもたらす
Bonsai 8Bに加えてPrismMLは、1-bit Bonsai 4Bおよび1.7Bというより小さなモデルも導入した。これらは、同じ効率性と知能密度の原則を、より小型のモデルサイズへ拡張するものだ。初期デモでは、ファミリー全体で高いスループット、エネルギー効率、競争力のあるベンチマーク精度が示されている。同ラボはまた、これらのモデルが現在の商用ハードウェア上で効果的に動作すること、さらに1-bit推論に最適化された将来のデバイスでは、より大きな効率向上をもたらし得ることにも言及した。
PrismMLのリリースは、AI開発におけるより広範な転換を示している。つまり、単なるスケールよりも、集中された知能と携帯性を重視するということだ。同ラボは、クラウドとエッジの両方のデバイスにまたがって、高度なAIがシームレスに動作する未来を構想している。1-bit BonsaiモデルはApache 2.0ライセンスのもとで提供されており、Appleデバイス、NVIDIA GPU、そして他のさまざまなプラットフォームにわたる導入を支援する。