より賢いカーソル：Google DeepMindのGemini搭載ビジョンによる意図認識型コンピューティングの形が見えてきた | メタバースポスト

要約

Google DeepMindは、Geminiを使用したAI搭載のポインターシステムを探求し、画面操作をより直感的でコンテキストに応じた、アプリやワークフロー全体に統合されたものにしようとしています。

AI企業のGoogle DeepMindは、Googleの一部であり、従来のマウスポインターを再考した新しいコンピュータ操作の実験的研究を導入しました。これは、何十年も使われてきたグラフィカルユーザーインターフェースの核心要素です。この取り組みは、AI能力、特にGeminiモデルをポインター操作に統合し、よりコンテキストに敏感で直感的なコンピューティング体験を創出することに焦点を当てています。

同社によると、マウスポインターは、計算パラダイムの大きな変化にもかかわらず、50年以上ほとんど変わっていません。研究チームは、ポインターを単なるナビゲーションツール以上に進化させ、指しているものだけでなく、ユーザーの意図も推測できるようにすることを目指しています。このアプローチは、ユーザーがアプリケーション間を切り替えたり、別のAIインターフェースで詳細なテキストプロンプトを提供したりする必要を減らすことを意図しています。

提案されたコンセプトの下では、AI機能はユーザーのワークフローに直接組み込まれ、専用のAIウィンドウを必要とせずに既存のアプリ内で操作が行えるようになります。例えば、ユーザーは地図上の建物を指し示し、音声入力や自然な略語で道案内をリクエストでき、システムはコンテキスト理解を用いて追加の指示なしにリクエストを処理します。

研究は、ユーザーの意図とシステムの応答間の摩擦を減らすことを目的とした一連のインタラクション原則を示しています。一つの原則は、「ワークフローの連続性を維持する」として、AIツールはアプリケーション間を横断して動作すべきであり、ユーザーを別の環境に強制しないことを強調しています。このモデルでは、文書の要約、データビジュアライゼーションの変換、コンテンツの修正などのタスクが、ポインター操作だけで完了できるとしています。

もう一つの原則は、コンテキストの捕捉に焦点を当てており、システムは選択されたオブジェクトだけでなく、その周囲の意味も解釈します。正確なテキスト指示を必要とせず、ポインターの向いている場所に基づいて段落、画像、コードのセグメントなどの関連要素を識別し、より即時的でターゲットを絞った応答を可能にします。

さらに、自然な人間のコミュニケーションパターンの使用も強調されており、「これ」や「それ」といったジェスチャーや短いフレーズとコンテキスト理解を組み合わせることを提案しています。このアプローチは、実世界のインタラクションスタイルを模倣し、構造化されたプロンプトへの依存を減らし、AIシステムとのより流動的なコミュニケーションを可能にすることを目的としています。

Google DeepMindは、画面上のビジュアルをアクション可能なデジタルエンティティに変換するAI駆動インターフェースを探求

この研究は、画面上のビジュアル要素をアクション可能なデジタルオブジェクトに変換するアイデアも紹介しています。この枠組みでは、ピクセルは位置、タスク、関心のあるアイテムなどの構造化されたエンティティとして解釈されます。例えば、写真はアクションのリストに変換でき、停止したビデオフレームからはレストランの詳細などの実世界の情報を抽出することも可能です。

同社は、これらの実験的な概念がChromeのブラウザ体験やプロトタイプハードウェアインターフェースなどの早期製品探索に取り入れられていると示しました。これらの実装では、ユーザーはAI支援と直接やり取りでき、ウェブページ上の選択項目の比較や物理環境内のオブジェクトの視覚化など、指し示し操作を通じてインタラクションを行います。その他のプラットフォームでも、AI統合型ユーザーインターフェース設計の継続的な探求を反映した実験的な機能がテストされています。