Cua هو محرك استخدام الكمبيوتر الخلفي مفتوح المصدر لنظام macOS: يقوم بعكس إطار عمل Apple الخاص، حيث يتيح للوكيل التحكم في التطبيق دون التقاط المؤشر.

robot
إنشاء الملخص قيد التقدم
AIMPACT رسالة، 24 أبريل (UTC+8)، وفقًا لرصد Beating، أصدر مشروع البنية التحتية مفتوحة المصدر لاستخدام الكمبيوتر Cua برنامج cua-driver، وهو برنامج تشغيل أصلي لنظام macOS، يتيح لأي وكيل التحكم في تطبيقات Mac في الخلفية. عندما ينقر الوكيل أو يكتب أو يلتقط لقطة شاشة، لا يتحرك مؤشر المستخدم، ولا يتغير التركيز، ولا يقوم macOS بتبديل سطح المكتب عبر Spaces. تأتي التقنية الأساسية من الهندسة العكسية لإطار عمل Apple الخاص SkyLight. تعمل الأحداث الاصطناعية التقليدية عبر CGEventPost عبر تدفق أحداث HID على تحريك المؤشر؛ ويمكن لـ \CGEvent.postToPid\ الإرسال المباشر ولكن عملية عرض Chromium تقوم بتصفيتها. يستخدم cua-driver SLEventPostToPid من SkyLight لإرسال الأحداث عبر قناة موثوقة من WindowServer، متجاوزًا HID، ويمكن لـ Chromium أيضًا استقبالها. يتم تنشيط النافذة عن طريق استعارة طريقة مدير النوافذ yabai: استخدام SLPSPostEventRecordTo لقلب حالة تنشيط AppKit للتطبيق الهدف فقط دون رفع مستوى النافذة، لتجنب تشغيل تتبع Spaces. بالنسبة لتطبيقات Electron (مثل Slack وVS Code وDiscord وغيرها)، يتم استخدام _AXObserverAddNotificationAndCheckRemote غير المعلن للحفاظ على تحديث شجرة إمكانية الوصول عند حجب النافذة. يوفر cua-driver ثلاثة أوضاع للالتقاط: وضع ax يُرجع شجرة إمكانية الوصول فقط، ولا يتطلب إذن تسجيل الشاشة؛ وضع vision يُرجع لقطات الشاشة فقط؛ وضع som (الافتراضي) يُرجع كليهما، ويمكن للوكيل النقر عبر فهرس العناصر أو إحداثيات البكسل. يدعم برنامج التشغيل بروتوكول MCP، ويمكن توصيله بعملاء مثل Claude Code وCursor، ويمكن أيضًا استدعاؤه عبر سطر الأوامر. قيدان معروفان: النقر بزر الماوس الأيمن على محتوى ويب Chromium لا يعمل، وتطبيقات Canvas (Blender وUnity ومحركات الألعاب) لا تزال بحاجة إلى تنشيط أمامي مؤقت. بعد استحواذ OpenAI على فريق Apple Shortcuts السابق Sky، أطلق Codex أولاً ميزة استخدام الكمبيوتر في الخلفية لكنه لم يفتح المصدر. قال Francesco Bonacci من Cua إن برنامج تشغيل استخدام الكمبيوتر في الخلفية يجب أن يكون بنية تحتية عامة وليس وظيفة حصرية لمنتج واحد. (المصدر: BlockBeats)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت