Um arquivo robots.txt é uma diretiva que informa aos robôs ou rastreadores de mecanismos de pesquisa como proceder em um site. Nos processos de rastreamento e indexação, as diretivas atuam como ordens para guiar os bots de mecanismos de pesquisa , como o Googlebot, para as páginas certas.

Os arquivos Robots.txt também são categorizados como arquivos de texto simples e residem no diretório raiz dos sites. Se o seu domínio for “www.robotsrock.com”, o robots.txt estará em “www.robotsrock.com/robots.txt”. Os arquivos Robots.txt têm duas funções principais para bots:

• Proibir  (bloquear) o rastreamento de um caminho de URL. No entanto, o arquivo robots.txt não é o mesmo que as metadiretivas noindex, que impedem que as páginas sejam indexadas.

• Permitir o rastreamento por uma determinada página ou subpasta se seu pai não tiver sido permitido.

Robots.txt são mais sugestões do que regras inquebráveis para bots, e suas páginas ainda podem acabar indexadas e nos resultados de pesquisa para palavras-chave selecionadas.

Principalmente, os arquivos controlam a tensão em seu servidor e gerenciam a frequência e a profundidade do rastreamento. O arquivo designa agentes do usuário, que se aplicam a um bot de mecanismo de pesquisa específico ou estendem o pedido a todos os bots. Por exemplo, se você quiser que apenas o Google rastreie páginas de forma consistente em vez do Bing, você pode enviar a eles uma diretiva como o agente do usuário.

Os desenvolvedores ou proprietários de sites podem impedir que os bots rastreiem determinadas páginas ou seções de um site com robots.txt.

Por que usar arquivos robots.txt?

Você quer que o Google e seus usuários encontrem facilmente páginas em seu site – esse é o objetivo do SEO, certo? Bem, isso não é necessariamente verdade. Você deseja que o Google e seus usuários localizem sem esforço as páginas certas em seu site.

Como a maioria dos sites, você provavelmente tem páginas de agradecimento que seguem conversões ou transações. As páginas de agradecimento se qualificam como as opções ideais para classificar e receber rastreamento regular? Não é provável.

Também é comum que sites de teste e páginas de login não sejam permitidos no arquivo robots.txt. O rastreamento constante de páginas não essenciais pode deixar seu servidor mais lento e apresentar outros problemas que atrapalham seus esforços de SEO. Robots.txt é a solução para moderar o que os bots rastreiam e quando.

Uma das razões pelas quais os arquivos robots.txt ajudam o SEO é processar novas ações de otimização. Seus check-ins de rastreamento são registrados quando você altera suas tags de cabeçalho, meta descrições e uso de palavras-chave – e rastreadores de mecanismos de pesquisa eficazes classificam seu site de acordo com desenvolvimentos positivos o mais rápido possível. À medida que você implementa sua estratégia de SEO ou publica novo conteúdo, você deseja que os mecanismos de pesquisa reconheçam as modificações que você está fazendo e que os resultados reflitam essas alterações.

Se você tiver uma taxa de rastreamento de site lenta, a evidência de seu site aprimorado pode demorar. Robots.txt pode tornar seu site organizado e eficiente, embora eles não empurrem sua página diretamente para cima nas SERPs. Eles otimizam indiretamente seu site, para que ele não incorra em penalidades, reduza seu orçamento de rastreamento, torne seu servidor lento e conecte as páginas erradas cheias de link juice.