Cua драйвер для використання комп'ютера в macOS з відкритим кодом у фоновому режимі: зворотнє інженерування закритого фреймворку Apple, агент керує застосунками, не перехоплюючи курсор.

robot
Генерація анотацій у процесі
Повідомлення AIMPACT, 24 квітня (UTC+8), за даними моніторингу Beating, проект відкритої інфраструктури computer-use Cua випустив cua-driver, рідний драйвер macOS, який дозволяє будь-якому агенту керувати програмами Mac у фоновому режимі.
Коли агент натискає, друкує або робить скріншоти, курсор користувача не рухається, фокус не змінюється, macOS не перемикає робочий стіл між просторами.
Основна технологія походить від зворотного інжинірингу приватного фреймворку Apple SkyLight. Звичайні синтезовані події через CGEventPost через потік HID рухають курсор; \CGEvent.postToPid\ може надсилати безпосередньо, але процес рендерингу Chromium фільтрує їх.
cua-driver використовує SLEventPostToPid від SkyLight для надсилання подій через довірений канал WindowServer, в обхід HID, тому Chromium також може отримувати. Активація вікна запозичена з менеджера вікон yabai: використовує SLPSPostEventRecordTo для перемикання лише стану активації AppKit цільової програми, не піднімаючи рівень вікна, уникаючи переходу Spaces. Для додатків на Electron (Slack, VS Code, Discord тощо) використовується неопублікований _AXObserverAddNotificationAndCheckRemote, щоб дерево доступності оновлювалося навіть при перекритті вікна.
cua-driver пропонує три режими захоплення: режим ax повертає лише дерево доступності, не потребує дозволу на запис екрану; режим vision повертає лише скріншот; режим som (за замовчуванням) повертає обидва, агент може натискати за допомогою індексу елемента або піксельних координат. Драйвер підтримує протокол MCP, може підключатися до клієнтів, таких як Claude Code, Cursor, а також викликатися через командний рядок. Два відомі обмеження: правою кнопкою миші не працює вміст веб-сторінок Chromium, додатки типу Canvas (Blender, Unity, ігрові двигуни) все ще потребують короткочасної активації на передньому плані.
Після того, як OpenAI придбала команду Sky, яка раніше працювала над Apple Shortcuts, Codex першим запустив функцію computer-use у фоновому режимі, але не відкрив її. Франческо Боначчі з Cua заявив, що драйвер computer-use у фоновому режимі повинен бути загальною інфраструктурою, а не ексклюзивною функцією одного продукту.
(Джерело: BlockBeats)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено