元ByteDance Seedエンジニア:ByteDanceの1回のイテレーションには半年かかるが、Googleではわずか3ヶ月と噂されている。

robot
概要作成中
ME News メッセージ、4月24日(UTC+8)、動察 Beating のモニタリングによると、元ByteDance Seed チームのエンジニアで現在は北京大学助理教授の張馳氏がポッドキャスト『Into Asia』で、ByteDance が大規模モデルのトレーニング(事前学習+事後学習)を完了するのに約半年かかるのに対し、Google は噂では3ヶ月で済むと明かした。彼は、イテレーション速度が中国企業が追いつくのが困難な核心的な理由の一つだと考える。張氏はByteDance に約1年在籍し、所属していた数学チームは研究寄りの性質で、同グループの位置づけは「より宣伝のため」だと自ら述べており、モデルの納品を担当する事前学習・事後学習チームとは異なる。
張氏は Seed 内部の benchmaxxing(スコア稼ぎ)文化について説明した。チームリーダーは担当するベンチマークでパフォーマンスを評価し、全員がスコアを追い求めているが、「これは実際の使用における良い体験にはつながらない」と述べた。彼は、紙面上では中国の大企業のモデルはすべてアメリカの最先端モデルに追いついているが、実際に使うと「十分ではない」と言う。Seed の目標は世界トップだが、「残念ながら、追いついたとは思わない」。たとえ国内一位の目標も「達成していない」。2024年末に Seed は GPT-4o に追いついたと自認していたが、その後 DeepSeek がリリースされ、チームは依然として差があることを認識した。彼が加わった時、チーム全体は緊急に強化学習へと方向転換していた。
(出典:BlockBeats)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め