Crawler AI Milik Meta Menyisir Web: 9,1 Miliar Permintaan pada Q2, Naik 163%

Menurut pemantauan Beating, Meta secara signifikan meningkatkan aktivitas perayapan web minggu ini untuk mengindeks halaman bagi mesin pencari berbasis AI miliknya. Pengembang independen Pieter Levels melaporkan bahwa perayap Meta menargetkan beberapa situs web miliknya, sehingga memicu peringatan beban tinggi di salah satu VPS-nya beberapa kali.

DataDome menunjukkan bahwa dua perayap AI Meta mengirimkan 9,1 miliar permintaan pada kuartal kedua 2026. Meta-WebIndexer, yang bertanggung jawab membangun indeks pencarian, melonjak 163% pada kuartal tersebut, dengan volume permintaan pada Juni untuk pertama kalinya melampaui perayap pelatihan. Meta telah mengembangkan mesin pencarinya sendiri sejak 2024 untuk mengurangi ketergantungannya pada Google dan Bing dalam menyediakan kemampuan pencarian berbasis AI.