Bad Bots e Good Bots: O que são e como podem prejudicar seu site

Bots são programas desenvolvidos na maioria das vezes para automatizar tarefas frequentes e repetitivas.

Os bots podem ser aplicados para realizar tarefas úteis no dia a dia, mas também são aplicados para prejudicar aplicações, portanto, bots “úteis” podem ser considerados como “Good Bots” e bots que realizam ações visando prejudicar algo são considerados como “Bad Bots“.

Diversos estudos apontam que mais de 50% de todo o tráfego da internet é feito por bots, o que faz com que webmasters fiquem atentos para detectar e bloquear comportamentos ilegíveis antes dos bots efetivamente causarem danos em suas aplicações.

Um pouco sobre Good Bots:

Bots são benéficos quando utilizados por empresas e indivíduos. Por exemplo, ao fazer uma pesquisa dentro de um site você obtém resultados listados na página, e isso só é possível pois um bot que foi desenvolvido para essa função está fazendo seu trabalho.

Good bots emblemáticos são os bots de rastreamento, como Googlebot e Bingbot que são desenvolvidos por empresas confiáveis para rastrear e indexar páginas em seus resultados de pesquisa, contribuindo para que seu site ganhe relevância em pesquisas orgânicas e ajudando com que sua empresa seja encontrada por consumidores em potencial. Além do exemplo de bots de rastreamento para indexação em redes de pesquisa, também existem outros good bots bastante conhecidos, como os bots de redes sociais (Facebook, Instagram), bots de monitoramento de sites (Pingdom, Hotjar), bots de monitoramento de links e performance web (SEMRushbot), entre outros.

É fundamental entender quais os good bots que podem acessar sua aplicação, evitando que esses bots sejam bloqueados incorretamente, já que em alguns cenários, eles podem ser considerados como bots maliciosos e consequentemente, podem prejudicar seus resultados. Ninguém que bloquear o bot do Google, não é mesmo? Por exemplo, a rede da GoCache tem catalogado diversos good bots, evitando que bloqueios sejam feitos em bots que apresentam comportamento elegível.

Um pouco sobre Bad Bots:

Os bad bots são desenvolvidos para realizar diversas operações maliciosas. Normalmente, bad bots funcionam de maneira evasiva e são utilizados principalmente por fraudadores e criminosos para a prática de atividades ilegais.

Um exemplo de bad bots são os scrapers que varrem o site de seus concorrentes para roubar conteúdo de seu site, fazem análises de produtos, notícias frescas, monitoram preços entre outros. Além de prejudicarem diretamente as aplicações com o furto destas informações, esses bots também podem sobrecarregar os servidores da web, prejudicando a performance da aplicação para usuários legítimos. Deve-se levar em consideração que em alguns casos a aplicação pode até mesmo ficar indisponível, dependendo do volume de requisições que um bad bot realiza.

Falando especificamente em scraping, existem casos em que o conteúdo roubado foi indexado com melhor resultado que o original no Google. Isso pois o bad bot identificou instantaneamente a publicação do novo artigo, antes mesmo da primeira indexação do Google. Evidentemente, isso afeta diretamente os resultados financeiros dos sites que tem seu conteúdo autoral roubado.

Bad bots também são utilizados para preencher formulários automaticamente, enviando mensagens sem nenhum valor e distorcendo os dados de marketing, o que gera bastante ruído durante analises de performance.

Vale citar que os bad bots estão cada vez mais sofisticados para imitar o comportamento humano, o que dificulta bastante a identificação de ações maliciosas.

Como evitar bad bots:

Uma das maneiras de evitar o bloqueio de good bots e bloquear bad bots é através do uso da ferramenta de Rate Limit da GoCache. Utilizando esse recurso é possível desconsiderar good bots por padrão (bots legítimos), e investigar através dos logs de acesso qualquer comportamento malicioso.

Caso queira conhecer ais sobre o recurso de rate limit, recomendamos a leitura das páginas:

• Rate Limit da GoCache
• Documentação do Rate Limit da GoCache
• Rate-Limiting incrementa a plataforma de segurança da GoCache
• Rate Limit para WordPress

Outro ponto importante e que pode ajudar a reduzir o acesso de bad bots é a utilização de um serviço de CDN. Por exemplo, por padrão o serviço de CDN da GoCache analisa todas as requests que uma aplicação recebe, possibilitando que alguns bad bots sejam bloqueados automaticamente, sem a necessidade de ações manuais.

Além disso, também é possível criar critérios dentro da CDN para desafiar usuários que infrinjam determinados comportamentos. Um recurso bastante utilizado é apresentar um CAPTCHA para usuários que fazem mais de X requisições por minuto. Também é possível realizar bloqueios ou desafios via CAPTCHA para método POST, inibindo que bad bots preencham formulários automaticamente.

---

Sua aplicação tem sido alvo de bad bots? Caso precise de ajuda, fique à vontade para falar conosco através do nosso formulário de contato.

---