MetaのCTOは、過去1年の間にザッカーバーグが「創業者モード」(founder mode)に再び戻らざるを得なかったことを確認した。彼はまた、昨年にAlexandr WangがMetaのチームに加わったことを非常に高く評価している。


同社は最新モデルを作るために緊急の戦略転換を行い、数千人の従業員を一時的に引き抜き、元々の仕事を停止させ、その代わりに、いわゆる「専門家トレース」(expert traces)——人工が手取り足取り指導して生成した高品質なプログラミング例——を作成し、モデルの後トレーニング(post-training)に用いた。
これは、最先端の大規模言語モデルにおける真のボトルネックが、もはや単なる元の計算資源だけではなく、高忠実で、人の検証を経た強化学習データであることをさらに裏付けるものでもある。
META6.01%
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め