مايكروسوفت تفتح مصدر Phi-Ground: دقة النقر بـ 4 مليارات معلمة تفوقت على Operator وClaude

وفقًا لمراقبة Beating، أطلقت شركة مايكروسوفت نموذج عائلة Phi-Ground مفتوح المصدر، متخصص في حل مشكلة “أي نقطة على الشاشة” عند تحكم الذكاء الاصطناعي بالحاسوب. مع صورة شاشة وأمر واحد، يُنتج النموذج إحداثيات النقر الدقيقة. النسخة المفتوحة المصدر ذات 4 مليارات معلمة، عند دمجها مع نموذج كبير لتخطيط الأوامر، تجاوزت دقة النقر في اختبار المعيار Showdown كل من OpenAI Operator و Claude Computer Use، وحصلت على المركز الأول في جميع التقييمات الخمسة بما في ذلك ScreenSpot-Pro، والتي تقل فيها المعلمات عن مائة مليار.

استخدم الفريق أكثر من 40 مليون قطعة من البيانات لإجراء اختبار واسع النطاق، ووجد أن التقنيات الثلاثة التي كانت شائعة في الأبحاث الأكاديمية سابقًا، أصبحت غير فعالة بعد زيادة حجم البيانات. الطريقة الفعالة حقًا بسيطة: يتم إخراج الإحداثيات كأرقام عادية، مثل “523، 417”. كانت العديد من الأوراق السابقة قد اخترعت مجموعة من المفردات الخاصة بالموقع للأحداثيات، على أمل أن يتحدث النموذج عن الإحداثيات كما يتحدث عن الكلمات، لكن عند التدريب على نطاق واسع، لم يتعلم النموذج هذه المفردات الجديدة بشكل جيد، بل أدى ذلك إلى انهياره. عامل مهم آخر هو وضع الأوامر النصية قبل إدخال الصورة. النموذج الكبير يقرأ المعلومات بشكل أحادي الاتجاه، فيقرأ “انقر على أيقونة الإعداد الزرقاء” قبل النظر إلى الصورة، وعند معالجة البكسلات، يكون قد عرف بالفعل ما يبحث عنه؛ أما إذا نظر إلى الصورة أولاً، فسيقوم فقط بمسحها بشكل أعمى، مما يقلل من الأداء بشكل كبير.

اكتشف الفريق أيضًا أن التعلم المعزز مفيد حتى للمهام البصرية الصافية. يتم ذلك بجعل النموذج يتوقع النقرات على نفس الصورة عدة مرات، ومقارنة النتائج الصحيحة والخاطئة للتدريب (هذه الطريقة تسمى DPO، وهي نوع من التعلم المعزز). حتى بعد ضبط النموذج بشكل كامل، لا تزال هذه الخطوة تحسن الدقة بشكل واضح. عادةً، يُستخدم التعلم المعزز فقط في مهام اللغة التي تتطلب استنتاجات، لكن أن يُستخدم في مهام الإدراك الصافية “مشهد الصورة وضرب النقاط” كان مفاجأة. لمشكلة أزرار الشاشة عالية الدقة على شاشات 4K الصغيرة جدًا (قد يشغل الزر مساحة 0.07% فقط من الشاشة)، قام الفريق خلال التدريب بتصغير الصورة الملتقطة ثم لصقها على لوحة بيضاء كبيرة، لمحاكاة السيناريو الحقيقي لعناصر صغيرة جدًا على شاشات عالية الدقة. كانت هذه التقنية فعالة بشكل خاص في برامج تحرير الصور المعقدة مثل Photoshop.