Twelabs、一人称視点の動画分析向けビジョン・ランゲージモデル「Pegasus 1.6」を発表
Twelabsは10月7日、エゴセントリック動画データ(第一人称視点で撮影された映像)の処理を目的とした視覚言語モデル(VLM)「Pegasus 1.6」の提供開始を発表しました。このモデルは、アクションカメラやスマートグラスで撮影された映像など、作業員の視点から記録された作業をロボットが理解できるようにすることで、フィジカルAIの開発における主要な課題に対応します。 Pegasus 1.6は、アクションのセグメンテーションとラベリング、詳細なキャプションの付与、品質評価、検索とキュレーション、プライバシーおよびコンプライアンスの検出という5つの中核機能を備えています。これらの機能により、動画データはロボットのトレーニングに適した機械可読形式に構造化されます。その結果、モデルはエゴセントリック映像内の行動を認識し、物体を特定するとともに、作業の手順や文脈を理解できるようになります。
GateNews·10-07 01:43
