لقد أعدت تنظيم عمليات الأتمتة الخاصة بي مؤخراً، واكتشفت مشكلة حاسمة جداً:

تبدو الكثير من سير العمل غير مستقرة، لكن المشكلة الحقيقية تكمن في طبقة «الحصول على البيانات».

سواء كان الأمر عن جمع الإسقاطات المجانية أو كتابة برامج الزحف، الجوهر واحد:

إذا كانت نفس عنوان IP تتكرر الطلبات منها باستمرار، فمن السهل جداً أن يتم التعرف عليها والحد من معدل الطلبات، أو حتى حظرها بشكل كامل.

في الإسقاطات المجانية، هذا يُسمى اعتبارك حسابات وهمية

في برامج الزحف، يُترجم هذا إلى فشل الطلبات أو بيانات غير مكتملة