Cua هو مشروع مفتوح المصدر لمحرك استخدام الكمبيوتر في خلفية macOS: هندسة عكسية لإطار Apple الخاص، حيث يتحكم الوكيل في التطبيقات دون انتزاع المؤشر.

robot
إنشاء الملخص قيد التقدم
AIMPACT رسالة، 24 أبريل (UTC+8)، وفقًا لرصد Beating، أصدر مشروع البنية التحتية مفتوحة المصدر لاستخدام الكمبيوتر Cua إصدار cua-driver، وهو برنامج تشغيل أصلي لنظام macOS، يتيح لأي وكيل التحكم في تطبيقات Mac في الخلفية. عند قيام الوكيل بالنقر والكتابة والتقاط لقطات الشاشة، لا يتحرك مؤشر المستخدم، ولا يتغير التركيز، ولا يقوم macOS بتبديل سطح المكتب عبر Spaces. تعتمد التقنية الأساسية على الهندسة العكسية لإطار عمل Apple الخاص SkyLight. الأحداث الاصطناعية التقليدية عبر CGEventPost عبر تدفق أحداث HID تحرك المؤشر؛ \CGEvent.postToPid\ يمكن إرسالها موجهة ولكن عملية渲染 Chromium تقوم بتصفيتها. يستخدم cua-driver وظيفة SLEventPostToPid من SkyLight عبر قناة موثوقة لـ WindowServer لإرسال الأحداث، متجاوزًا HID، بحيث يستقبلها Chromium أيضًا. تفعيل النافذة يستعير من مدير النوافذ yabai: استخدام SLPSPostEventRecordTo لعكس حالة تفعيل AppKit للتطبيق المستهدف فقط دون رفع مستوى النافذة، لتجنب تشغيل تتبع Spaces. بالنسبة لتطبيقات Electron (Slack، VS Code، Discord، إلخ)، يتم استخدام الدالة غير المعلنة _AXObserverAddNotificationAndCheckRemote للحفاظ على تحديث شجرة الوصول حتى عندما تكون النافذة محجوبة. يوفر cua-driver ثلاثة أوضاع للالتقاط: وضع ax يعيد فقط شجرة الوصول، ولا يحتاج إلى إذن تسجيل الشاشة؛ وضع vision يعيد فقط لقطة الشاشة؛ وضع som (الافتراضي) يعيد كليهما، ويمكن للوكيل النقر عبر فهرس العنصر أو إحداثيات البكسل. يدعم البرنامج تشغيل بروتوكول MCP، ويمكن توصيله بعملاء مثل Claude Code وCursor، ويمكن استدعاؤه عبر سطر الأوامر. قيودان معروفان: النقر الأيمن على محتوى صفحات الويب Chromium لا يعمل، وتطبيقات Canvas (Blender وUnity ومحركات الألعاب) لا تزال تحتاج إلى تنشيط مؤقت في المقدمة. بعد استحواذ OpenAI على فريق Apple Shortcuts السابق Sky، قدم Codex أولاً ميزة استخدام الكمبيوتر في الخلفية لكنها لم تكن مفتوحة المصدر. وفقًا لـ Francesco Bonacci من Cua، يجب أن يكون برنامج تشغيل استخدام الكمبيوتر في الخلفية بنية تحتية عامة وليس ميزة حصرية لمنتج واحد. (المصدر: BlockBeats)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت