AIMPACT メッセージ、4月24日（UTC+8）、動察 Beating のモニタリングによると、オープンソースの computer-use インフラプロジェクト Cua が cua-driver をリリース。これは macOS ネイティブドライバで、任意のエージェントがバックグラウンドで Mac アプリを操作できるようにする。エージェントがクリック、タイピング、スクリーンショットを実行しても、ユーザーのカーソルは動かず、フォーカスも変わらず、macOS は Spaces 間でデスクトップを切り替えない。コア技術は Apple のプライベートフレームワーク SkyLight のリバースエンジニアリングに由来する。通常の合成イベントは CGEventPost を介して HID イベントストリームを通るとカーソルが移動する；CGEvent.postToPid で定向送信できるが、Chromium のレンダリングプロセスでフィルタリングされる。cua-driver は SkyLight の SLEventPostToPid を使い、WindowServer の信頼チャネル経由でイベントを送信し、HID を回避するため、Chromium でも受信可能。ウィンドウアクティベーションはウィンドウマネージャ yabai の手法を借用：SLPSPostEventRecordTo を使い、対象アプリの AppKit アクティベーション状態のみを反転させ、ウィンドウ階層を上げず、Spaces の追従を回避。Electron アプリ（Slack、VS Code、Discord など）には、未公開の _AXObserverAddNotificationAndCheckRemote を使用し、ウィンドウが隠れている間もアクセシビリティツリーを更新し続ける。cua-driver は 3 つのキャプチャモードを提供：ax モードはアクセシビリティツリーのみを返し、画面録画権限は不要；vision モードはスクリーンショットのみを返す；som モード（デフォルト）は両方を返し、エージェントは要素インデックスまたはピクセル座標のいずれかでクリック可能。ドライバは MCP プロトコルをサポートし、Claude Code、Cursor などのクライアントに接続可能で、コマンドラインからも呼び出せる。既知の制限が 2 つ：Chromium ウェブコンテンツの右クリックが機能しない；Canvas 系アプリ（Blender、Unity、ゲームエンジン）は引き続き一時的なフォアグラウンドアクティベーションが必要。OpenAI が Apple Shortcuts チーム Sky を買収した後、Codex が最初にバックグラウンド computer-use 機能をリリースしたが、オープンソース化はされていない。Cua の Francesco Bonacci は、バックグラウンド computer-use ドライバは単一製品の専用機能ではなく、汎用インフラであるべきだと述べている。（出典：BlockBeats）

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。

報酬
いいね
コメント
リポスト
共有

コメントを追加

コメントなし

人気の話題
もっと見る
#
gStocksTokenizedStocksLive
4.78M 人気度
#
StrongNonfarmPayrollsRekindleRateHikeFear
1.05M 人気度
#
IsraelStrikesIranBTCPlunges
68.08K 人気度
#
PredictWorldCupShare20000U
194.55K 人気度
#
ETHBreaks1700
152.56M 人気度

ピン留め

サイトマップ

CuaオープンソースのmacOSバックグラウンドcomputer-useドライバー：Appleのプライベートフレームワークをリバースエンジニアリングし、エージェントがカーソルを奪わずにアプリを操作

人気の話題

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

ピン留め