# AI競争が激化、誰が「百模戦争」で勝利するのか？先月、AI分野で「動物戦争」が勃発しました。一方はMetaが発表したLlama（ラマ）モデル、もう一方はFalcon（ファルコン）という名前の大規模モデルです。Llamaはそのオープンソースの特性から開発者に人気があります。日本のNEC社はLlamaの論文とソースコードを研究した後、迅速に日本語版のチャットボットを開発しました。一方、Falconはアラブ首長国連邦の科学技術革新研究所によって開発され、オープンソースモデルのランキングでLlamaを上回ったことがあります。現在、AI分野は「群雄割拠」の段階に入っています。実力のある国や企業が次々と自社の大規模言語モデルの開発に取り組んでいます。湾岸地域だけでも、サウジアラビアは国内の大学のために3000以上のH100チップを購入して訓練に使用しています。この「一国一模」という現象は、人々を疑問に思わせます: 高いハードルのAI技術は、どのように「百模の戦争」へと進化したのでしょうか？## トランスフォーマーアルゴリズムがゲームのルールを変える現在のさまざまな大規模モデルの台頭は、2017年にGoogleが発表した「Attention Is All You Need」という論文に起因しています。この論文で提案されたTransformerアルゴリズムが、今回のAIブームの鍵となっています。トランスフォーマーは、初期のニューラルネットワークが長文の文脈を理解するのが難しいという問題を解決しました。位置エンコーディングを使用してループ設計の代わりにし、並列計算を実現し、トレーニング効率を大幅に向上させました。これにより、AIは理論研究からエンジニアリングの実践に移行し、大規模モデル時代の到来を促進しました。2019年、OpenAIはTransformerに基づいてGPT-2モデルを開発しました。その後、Googleはパラメータと計算能力を増加させることで、より強力なMeenaを発表しました。このような"暴力的な積み重ね"の方法は、学術界を驚かせました。現在、基盤となるアルゴリズムの革新速度が鈍化し、データ工学や計算能力の規模などのエンジニアリング要素がAI競争の鍵となっています。一定の技術力を持つテクノロジー企業は、大規模モデルを開発することができます。## 入場は簡単だが成功は難しい入場のハードルは高くないが、AI時代において先進企業となるのは容易ではない。FalconとLlamaの争いを例に挙げると、Falconは順位が高いものの、Metaに対して実質的な影響を与えることは難しい。オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。Metaは2015年にオープンソースの方針を確立し、コミュニティ運営の道を深く理解しています。現在、LlamaシリーズはオープンソースのLLMの指標となり、多くのモデルがそれを基に開発されています。性能に関して、大多数のLLMはGPT-4と依然として明らかな差があります。AgentBenchテストでは、GPT-4が4.41点で圧倒的にリードしており、2位のClaudeはわずか2.77点で、オープンソースモデルは多くが1点前後です。このギャップを生み出しているのは、OpenAIのトップ科学者チームと長年の経験の蓄積です。したがって、大規模モデルの核心的な利点は、エコシステムの構築や純粋な推論能力にあり、単純なパラメータの積み重ねではありません。## コストと収入の不均衡が問題に現在、大規模モデルプロバイダーはコストと収益の深刻な不均衡に直面しています。推定によれば、世界のテクノロジー企業は毎年大規模モデルインフラに2000億ドルを投資する一方で、収益は最大750億ドルにとどまり、少なくとも1250億ドルのギャップが存在します。マイクロソフトやAdobeなどの大手企業でさえ、AI製品で利益を上げるのは難しいです。例えば、GitHub Copilotは、ユーザーごとに月額20ドルの赤字を出しており、ヘビーユーザーの場合、マイクロソフトは80ドルの損失を出しています。Adobeは使用を制限するためにポイントシステムを設定せざるを得ませんでした。ほとんどのパラメータが積み重なった大規模モデルにとって、主な応用シーンは依然としてチャットに限られています。同質化競争が激化し、オープンソースモデルが増える中、単純な大規模モデルの供給業者が直面する課題はさらに大きくなるでしょう。未来、本当に際立つことができるAI企業は、モデル自体ではなく、AIを実際のアプリケーションシーンと深く結びつけ、ユーザーに真の価値を提供する方法にあるかもしれません。iPhone 4の成功がプロセッサーにあるのではなく、豊かなアプリケーションエコシステムにあるのと同じように。
AI大モデルの競争が激化し、技術のハードルがドロップし、利益が難題となる。
AI競争が激化、誰が「百模戦争」で勝利するのか？
先月、AI分野で「動物戦争」が勃発しました。一方はMetaが発表したLlama（ラマ）モデル、もう一方はFalcon（ファルコン）という名前の大規模モデルです。
Llamaはそのオープンソースの特性から開発者に人気があります。日本のNEC社はLlamaの論文とソースコードを研究した後、迅速に日本語版のチャットボットを開発しました。一方、Falconはアラブ首長国連邦の科学技術革新研究所によって開発され、オープンソースモデルのランキングでLlamaを上回ったことがあります。
現在、AI分野は「群雄割拠」の段階に入っています。実力のある国や企業が次々と自社の大規模言語モデルの開発に取り組んでいます。湾岸地域だけでも、サウジアラビアは国内の大学のために3000以上のH100チップを購入して訓練に使用しています。
この「一国一模」という現象は、人々を疑問に思わせます: 高いハードルのAI技術は、どのように「百模の戦争」へと進化したのでしょうか？
トランスフォーマーアルゴリズムがゲームのルールを変える
現在のさまざまな大規模モデルの台頭は、2017年にGoogleが発表した「Attention Is All You Need」という論文に起因しています。この論文で提案されたTransformerアルゴリズムが、今回のAIブームの鍵となっています。
トランスフォーマーは、初期のニューラルネットワークが長文の文脈を理解するのが難しいという問題を解決しました。位置エンコーディングを使用してループ設計の代わりにし、並列計算を実現し、トレーニング効率を大幅に向上させました。これにより、AIは理論研究からエンジニアリングの実践に移行し、大規模モデル時代の到来を促進しました。
2019年、OpenAIはTransformerに基づいてGPT-2モデルを開発しました。その後、Googleはパラメータと計算能力を増加させることで、より強力なMeenaを発表しました。このような"暴力的な積み重ね"の方法は、学術界を驚かせました。
現在、基盤となるアルゴリズムの革新速度が鈍化し、データ工学や計算能力の規模などのエンジニアリング要素がAI競争の鍵となっています。一定の技術力を持つテクノロジー企業は、大規模モデルを開発することができます。
入場は簡単だが成功は難しい
入場のハードルは高くないが、AI時代において先進企業となるのは容易ではない。FalconとLlamaの争いを例に挙げると、Falconは順位が高いものの、Metaに対して実質的な影響を与えることは難しい。
オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。Metaは2015年にオープンソースの方針を確立し、コミュニティ運営の道を深く理解しています。現在、LlamaシリーズはオープンソースのLLMの指標となり、多くのモデルがそれを基に開発されています。
性能に関して、大多数のLLMはGPT-4と依然として明らかな差があります。AgentBenchテストでは、GPT-4が4.41点で圧倒的にリードしており、2位のClaudeはわずか2.77点で、オープンソースモデルは多くが1点前後です。
このギャップを生み出しているのは、OpenAIのトップ科学者チームと長年の経験の蓄積です。したがって、大規模モデルの核心的な利点は、エコシステムの構築や純粋な推論能力にあり、単純なパラメータの積み重ねではありません。
コストと収入の不均衡が問題に
現在、大規模モデルプロバイダーはコストと収益の深刻な不均衡に直面しています。推定によれば、世界のテクノロジー企業は毎年大規模モデルインフラに2000億ドルを投資する一方で、収益は最大750億ドルにとどまり、少なくとも1250億ドルのギャップが存在します。
マイクロソフトやAdobeなどの大手企業でさえ、AI製品で利益を上げるのは難しいです。例えば、GitHub Copilotは、ユーザーごとに月額20ドルの赤字を出しており、ヘビーユーザーの場合、マイクロソフトは80ドルの損失を出しています。Adobeは使用を制限するためにポイントシステムを設定せざるを得ませんでした。
ほとんどのパラメータが積み重なった大規模モデルにとって、主な応用シーンは依然としてチャットに限られています。同質化競争が激化し、オープンソースモデルが増える中、単純な大規模モデルの供給業者が直面する課題はさらに大きくなるでしょう。
未来、本当に際立つことができるAI企業は、モデル自体ではなく、AIを実際のアプリケーションシーンと深く結びつけ、ユーザーに真の価値を提供する方法にあるかもしれません。iPhone 4の成功がプロセッサーにあるのではなく、豊かなアプリケーションエコシステムにあるのと同じように。