廣場
最新
熱門
新聞
我的主頁
發布
Cua 開源 macOS 背景 computer-use 驅動：逆向 Apple 私有框架，agent 操控應用不搶游標
ME News
2026-07-04 04:18:18
關注
摘要生成中
AIMPACT 消息，4 月 24 日（UTC+8），據 動察 Beating 監測，開源 computer-use 基礎設施項目 Cua 發佈 cua-driver，一個 macOS 原生驅動，讓任意 agent 在後台操控 Mac 應用。agent 點擊、打字、截圖時，用戶的光標不動、焦點不變、macOS 不會跨 Spaces 切換桌面。 核心技術來自對 Apple 私有框架 SkyLight 的逆向工程。常規合成事件通過 CGEventPost 走 HID 事件流會移動光標；\CGEvent.postToPid\ 能定向發送但 Chromium 渲染進程會過濾掉。cua-driver 用 SkyLight 的 SLEventPostToPid 通過 WindowServer 信任通道發送事件，繞開 HID，Chromium 也能接收。窗口激活則借鑑窗口管理器 yabai 的做法：用 SLPSPostEventRecordTo 只翻轉目標應用的 AppKit 激活狀態而不提升窗口層級，避免觸發 Spaces 跟隨。對 Electron 應用（Slack、VS Code、Discord 等），用未公開的 _AXObserverAddNotificationAndCheckRemote 讓可訪問性樹在窗口被遮擋時仍保持更新。 cua-driver 提供三種捕獲模式：ax 模式僅返回可訪問性樹，不需要錄屏權限；vision 模式僅返回截圖；som 模式（默認）同時返回兩者，agent 可通過元素索引或像素座標兩種方式點擊。驅動支持 MCP 協議，可接入 Claude Code、Cursor 等客戶端，也可通過命令行調用。兩個已知限制：Chromium 網頁內容的右鍵點擊不工作，Canvas 類應用（Blender、Unity、遊戲引擎）仍需短暫前台激活。 OpenAI 收購前 Apple Shortcuts 團隊 Sky 後，Codex 率先推出後台 computer-use 功能但未開源。Cua 的 Francesco Bonacci 稱，後台 computer-use 驅動應當是通用基礎設施而非單一產品的專屬功能。 （來源：BlockBeats）
查看原文
此頁面可能包含第三方內容，僅供參考（非陳述或保證），不應被視為 Gate 認可其觀點表述，也不得被視為財務或專業建議。詳見
聲明
。
打賞
按讚
回覆
轉發
分享
回覆
請輸入回覆內容
請輸入回覆內容
回覆
暫無回覆
熱門話題
查看更多
#
gStocks代幣化股票上線
476.01萬 熱度
#
非農爆冷打壓加息預期
104.76萬 熱度
#
預測世界盃巴西VS挪威
20.29萬 熱度
#
ETH突破1700
1.52億 熱度
#
Meta賣算力引發存儲股大跌
139.6萬 熱度
已置頂
網站地圖
Cua 開源 macOS 背景 computer-use 驅動：逆向 Apple 私有框架，agent 操控應用不搶游標