ME AI メッセージ、動察 Beating のモニタリングによると、AIはトレーニング時間が長くなるにつれて、新しい知識を吸収する能力が徐々に失われる（可塑性喪失）。最終的にはトレーニングを重ねるほど硬直化する。可塑性喪失を克服できなければ、大規模モデルは低コストで継続的に学習することが永遠に不可能となり、知識を更新するたびに過去のすべてのデータと新しいデータを一緒に再トレーニングする必要があり、莫大な計算リソースを消費する。AIスタートアップZyphraの最新研究は初めて、モデルを大きくすることで劣化を遅らせることができるが、限界効用は逓減し、単にパラメータを増やすだけでは可塑性喪失を根本的に解決できないことを証明した。外挿によると、1Bパラメータモデルは1.8兆トークンのトレーニング後に賢さを失い、7Bモデルは9兆トークン後にその兆候が現れる。さらに革新的なのは、タスク切り替えを行わず、モデルを安定した混合データセットでのみトレーニングしても、可塑性喪失は同様に発生するという点である。研究は、大規模モデルが賢さを失う三大直接原因を指摘している：トレーニングに伴いパラメータ体積が増大し、レイヤー正規化（LayerNorm）機構の下で勾配伝達を阻害すること；MLP層のニューロンが大規模に休眠「ストライキ」を起こすこと（一部のモデルではニューロンの95%が休眠状態に入る）；アテンションヘッドの麻痺（特定の文字だけを注視して崩壊）または怠慢（全てのコンテキストに均等に注意を振りまく）。これらの病理的特徴に対して、潜在的な治療策としては、パラメータ膨張の制限、ストライキを起こしたニューロンへの定期的な「ニューロンリセット」による強制活性化、およびアテンション機構へのランダムノイズ導入による強制的な修正が含まれる。（出典：BlockBeats）
もう馬鹿みたいに計算資源を積むのはやめろ！研究によると大規模モデルは訓練すればするほど「硬直化」し、パラメータを増やしても効果がない。