广场
最新
热门
资讯
我的主页
发布
Cua开源macOS后台computer-use驱动：逆向Apple私有框架，agent操控应用不抢光标
ME News
2026-07-04 02:43:33
关注
摘要生成中
AIMPACT 消息，4 月 24 日（UTC+8），据 动察 Beating 监测，开源 computer-use 基础设施项目 Cua 发布 cua-driver，一个 macOS 原生驱动，让任意 agent 在后台操控 Mac 应用。agent 点击、打字、截图时，用户的光标不动、焦点不变、macOS 不会跨 Spaces 切换桌面。 核心技术来自对 Apple 私有框架 SkyLight 的逆向工程。常规合成事件通过 CGEventPost 走 HID 事件流会移动光标；\CGEvent.postToPid\ 能定向发送但 Chromium 渲染进程会过滤掉。cua-driver 用 SkyLight 的 SLEventPostToPid 通过 WindowServer 信任通道发送事件，绕开 HID，Chromium 也能接收。窗口激活则借鉴窗口管理器 yabai 的做法：用 SLPSPostEventRecordTo 只翻转目标应用的 AppKit 激活状态而不提升窗口层级，避免触发 Spaces 跟随。对 Electron 应用（Slack、VS Code、Discord 等），用未公开的 _AXObserverAddNotificationAndCheckRemote 让可访问性树在窗口被遮挡时仍保持更新。 cua-driver 提供三种捕获模式：ax 模式仅返回可访问性树，不需要录屏权限；vision 模式仅返回截图；som 模式（默认）同时返回两者，agent 可通过元素索引或像素坐标两种方式点击。驱动支持 MCP 协议，可接入 Claude Code、Cursor 等客户端，也可通过命令行调用。两个已知限制：Chromium 网页内容的右键点击不工作，Canvas 类应用（Blender、Unity、游戏引擎）仍需短暂前台激活。 OpenAI 收购前 Apple Shortcuts 团队 Sky 后，Codex 率先推出后台 computer-use 功能但未开源。Cua 的 Francesco Bonacci 称，后台 computer-use 驱动应当是通用基础设施而非单一产品的专属功能。 （来源：BlockBeats）
此页面可能包含第三方内容，仅供参考（非陈述/保证），不应被视为 Gate 认可其观点表述，也不得被视为财务或专业建议。详见
声明
。
赞赏
点赞
评论
转发
分享
评论
请输入评论内容
请输入评论内容
评论
暂无评论
热门话题
查看更多
#
gStocks代币化股票上线
475.68万 热度
#
非农爆冷打压加息预期
104.55万 热度
#
预测世界杯巴西VS挪威
20.04万 热度
#
ETH突破1700
1.52亿 热度
#
Meta卖算力引发存储股大跌
139.52万 热度
置顶
网站地图
Cua开源macOS后台computer-use驱动：逆向Apple私有框架，agent操控应用不抢光标