3500言語ペアをサポート!アリババ、初の視覚強化同時通訳大モデルQwen3.5-LiveTranslateを公開

robot
概要作成中
AIMPACT 消息、5月20日(UTC+8)、動察 Beating のモニタリングによると、同時通訳システムは単調な音声翻訳から、映像を理解し、声をクローンできる全モーダルデジタル通訳者へと進化している。5月19日、アリババ通義実験室は正式に新世代のリアルタイム音声・ビデオ同時通訳大モデル Qwen3.5-LiveTranslate を発表し、リアルタイム同時通訳能力を3500以上の言語ペアに大幅にアップグレードし、初めてリアルタイム音声クローン、カスタムホットワード、視覚理解をサポートした。新モデルは Qwen3.5-Omni アーキテクチャに基づき、現在60言語の理解と文章作成、29言語の音声出力をサポートしている。従来の音声のみを聞く同時通訳ソフトウェアとは異なり、新モデルはリアルタイムの視覚コンテキストを導入して意味の曖昧さを排除する。例えば、動画画面に特定のマスクが表示された場合、システムは視覚的特徴を組み合わせて、英語で医療用マスクと仮面舞踏会のマスクを正確に区別し、音声情報の不足を補う。ノイズやアクセントによる転写の誤差を排除するため、新モデルはホットワード動的注入メカニズムも導入している。理由は簡単で、ユーザーが翻訳ストリーム内で特定の人名、ブランド、業界用語を直接指定し、正しい翻訳を強制的に固定することで、固有名詞が同時通訳中にずれるのを防ぐことができる。異言語間の同時通訳では、モデルはリアルタイムの音声クローンもサポートしており、同時通訳ストリーム内で話者の原音の音色と口調をリアルタイムで再現できる。現在、新モデルは体験プラットフォーム Qwen Omni で公開されており、将来的には API がアリババクラウド百煉プラットフォームに搭載される予定。(出典:BlockBeats)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし