10 مستودعات جيثب التي تقتنص الإنترنت بأكمله نيابة عنك.

احفظ كل واحد منها كعلامة مرجعية. كل واحد يسحب بيانات نظيفة من أي موقع على الأرض، نوع الوصول الذي تبيعه الشركات خلف مكالمة مبيعات وعقد.
فايركروول. وجهه إلى أي موقع ويب ويتصفح كل صفحة، ويعرض جافا سكريبت، ويعيد بيانات منظمة نظيفة يمكن للذكاء الاصطناعي قراءتها على الفور. أحد أكثر أنظمة السحب اعتمادًا في تكديس الذكاء الاصطناعي الآن، مفتوح المصدر بالكامل.

كراولي4AI. يحول أي موقع إلى ماركداون نظيف وجاهز لنماذج اللغة الكبيرة. بدون مفتاح API، بدون حساب، بدون رسوم على كل صفحة. عشرات الآلاف من النجوم وأحد أسرع الزواحف نموًا على جيثب.

استخدام المتصفح. وكيل ذكاء اصطناعي يقود متصفحًا حقيقيًا مثل الإنسان: النقر، التمرير، تسجيل الدخول، ملء النماذج، سحب البيانات من مواقع لا يمكن للزاحف البسيط الوصول إليها. بناه باحثان من ETH زيورخ. مرخص من MIT.

كراولي. إطار العمل الكامل للاحترافية في السحب. بروكسيات متغيرة، محاولات تلقائية، تزوير بصمة المتصفح، إدارة الطوابير. الآلية التي تمنعك من أن يتم حظرك.

سكرابي. الزاحف الصناعي الأصلي الذي دعم فرق البيانات بصمت لأكثر من عقد من الزمن. تصفح ملايين الصفحات، استخرج أي شيء، صدره نظيفًا.

ماركيتداون. أداة مايكروسوفت الخاصة التي تحول أي ملف أو صفحة ويب، PDF، مستندات Office، HTML، صور، إلى ماركداون نظيف يمكن للذكاء الاصطناعي استخدامه فعليًا.

سكرابلينج. زاحف سري مصمم ليظل غير مرئي، يتكيف تلقائيًا عندما يتغير تخطيط الموقع ويتسلل عبر اكتشاف الروبوتات.

سكرابسي. عاكس وتحكم في أي هاتف أندرويد من حاسوبك لسحب البيانات وأتمتة التطبيقات بدون موقع ويب على الإطلاق.

أوتوسكرابر. أظهر له مثال واحد لما تريده ويكتشف النمط ويقوم بالسحب تلقائيًا للباقي. بدون محددات، بدون كود للصيانة.

curl-impersonate. نسخة من curl تقلد بصمة متصفح حقيقي بحيث تتجاوز الطلبات دفاعات الروبوت وتبدو تمامًا كإنسان يستخدم Chrome.

تبيع الشركات وصولًا كهذا مقابل 2000 دولار شهريًا. الكود المصدري موجود هنا، مجانًا.