AIMPACT повідомлення, 24 квітня (UTC+8), за даними моніторингу 动察 Beating, відкрита інфраструктура computer-use проекту Cua випустила cua-driver — рідний драйвер для macOS, який дозволяє будь-якому агенту керувати Mac-додатками у фоновому режимі. Коли агент натискає, друкує або робить знімки екрана, курсор користувача не рухається, фокус не змінюється, а macOS не перемикає робочі столи між Spaces. Основна технологія походить від зворотного інжинірингу приватного фреймворку Apple SkyLight. Звичайні синтезовані події через CGEventPost, що йдуть через потік HID, переміщують курсор; \CGEvent.postToPid\ може надсилатися цілеспрямовано, але рендеринговий процес Chromium фільтрує їх. cua-driver використовує SLEventPostToPid від SkyLight для надсилання подій через довірений канал WindowServer, оминаючи HID, тому Chromium також може їх приймати. Активація вікна запозичена з менеджера вікон yabai: за допомогою SLPSPostEventRecordTo лише перемикається стан активації AppKit цільової програми без підняття рівня вікна, щоб уникнути спрацьовування перемикання Spaces. Для додатків на Electron (Slack, VS Code, Discord тощо) використовується неопублікований _AXObserverAddNotificationAndCheckRemote, щоб дерево доступності оновлювалося навіть при затемненні вікна. cua-driver пропонує три режими захоплення: режим ax повертає лише дерево доступності без дозволу на запис екрана; режим vision повертає лише знімки екрана; режим som (за замовчуванням) повертає обидва, і агент може натискати через індекси елементів або піксельні координати. Драйвер підтримує протокол MCP, може підключатися до клієнтів, таких як Claude Code, Cursor, а також викликатися через командний рядок. Два відомі обмеження: правий клік на веб-вмісті Chromium не працює, додатки типу Canvas (Blender, Unity, ігрові рушії) все ще потребують короткочасної активної передньої активації. Після того, як OpenAI придбала команду Sky (колишні Apple Shortcuts), Codex першим запустив функцію computer-use у фоновому режимі, але не відкрив код. Francesco Bonacci з Cua заявив, що драйвер computer-use у фоновому режимі має бути загальною інфраструктурою, а не ексклюзивною функцією одного продукту. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
gStocksTokenizedStocksLive
4,75M Популярність
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,04M Популярність
#
IsraelStrikesIranBTCPlunges
68,04K Популярність
#
PredictWorldCupShare20000U
201,67K Популярність
#
ETHBreaks1700
152,56M Популярність

Закріплено

карта сайту

Cua — відкритий драйвер macOS для фонового використання комп’ютера: зворотна інженерія приватного фреймворку Apple, агент керує додатками без захоплення курсора.

Популярні теми

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закріплено