Recentemente reorganizei os meus processos de automação e descobri um problema muito crítico:

Muitos fluxos de trabalho parecem instáveis, mas na verdade o problema está na camada de "obtenção de dados".

Quer seja para capturar airdrops ou fazer web scraping, a essência é a mesma:

Fazer pedidos repetidos a partir do mesmo IP é muito fácil de ser identificado, limitado pela taxa, ou até bloqueado directamente.

Nos airdrops, isto chama-se ser tratado como um "Sybil"

No web scraping, é quando os pedidos falham ou os dados ficam incompletos