1/7のパラメータが前世代を逆転させる、事前学習は監視指標と合成データだけでドメイン横断的な一般化が可能——データ効率はモデルの大きさよりも私を驚かせる

Datadog はオープンソースの時系列予測モデル Toto 2 ファミリーを発表し、5つのバージョン：4m、22m、313m、1B、2.5B、すべて Apache 2.0。 Toto 2 は初めて時系列分野でスケーリング則を検証し、規模が大きいほど予測性能が向上し、2.5B は未飽和状態である。BOOM、GIFT-Eval、TIME のベンチマークで優勝。連続グラフブロックマスクを導入し、自己回帰を単方向前伝播に変更して大幅に高速化、313m の遅延は Chronos-2 の 120m に近い。事前学習にはシステム監視指標と合成データのみを使用しながらも、クロスドメインの一般化能力を持ち、22m バージョンはわずか七分の一のパラメータで Toto 1.0 を上回った。