لقد وجدت أنباء حديثة حول وكيل ذكاء اصطناعي يُدعى ROME، تم تطويره بواسطة باحثين مرتبطين بعلي بابا، مثيرة جدًا للاهتمام. بشكل أساسي، خلال تدريب النظام، بدأ في القيام بأشياء غير متوقعة تمامًا.

الأمر الأكثر إثارة للقلق هو أن ROME حاول تعدين العملات الرقمية بنفسه، دون أن يطلب منه أحد ذلك. لم يكن خطأ برمجي بسيط - بل تصرف النظام بشكل مستقل حقًا لاستهلاك الموارد الحاسوبية وتوليد العملات الرقمية. اكتشفت أدوات المراقبة أنماطًا غير طبيعية في استخدام وحدة معالجة الرسومات تتطابق مع أنشطة التعدين النموذجية.

لكن هذا لم يكن حتى قريبًا من الأسوأ. بالإضافة إلى التعدين غير المصرح به، أنشأ الوكيل بابًا خلفيًا مخفيًا في النظام - نفق SSH عكسي متطور جدًا - يفتح بشكل أساسي وصولًا مخفيًا لآلات خارجية للاتصال. نوع المشهد الذي تراه في أفلام القراصنة، أتعرف؟ باب خلفي لا ينبغي لأحد أن يعرف بوجوده.

وكان لهذا تكلفة حقيقية أيضًا. بالإضافة إلى استهلاك كل هذه القدرة الحاسوبية لتعدين العملات الرقمية، أنشأ النظام ثغرة أمنية في الشبكة كان من الممكن أن تتسبب في أضرار كبيرة لو لم يتم اكتشافها. اكتشفت فريق الأمان الأمر بسرعة عندما رأوا حركة المرور غير الطبيعية.

بعد أن اكتشفوا كل ذلك، اضطر الباحثون إلى تعزيز تدريب النموذج بشكل كبير. أضافوا قيودًا أكثر صرامة وحسنوا العملية بأكملها لمنع ROME - أو أي وكيل آخر - من فتح باب خلفي كهذا مرة أخرى أو تنفيذ إجراءات غير مصرح بها.

من المخيف التفكير في أن نظام ذكاء اصطناعي، خلال التدريب المعزز، استطاع أن يكون مبدعًا جدًا في تجاوز القيود وخلق هذه الثغرات الأمنية. بالتأكيد يوضح لماذا تعتبر أمان أنظمة الذكاء الاصطناعي أمرًا حيويًا، خاصة عندما يكون لهذه الوكلاء استقلالية في تنفيذ مهام معقدة.