O Protocolo de Exclusão de Robôs, mais conhecido como robots.txt, é um método padrão empregado pelos administradores de sistemas para informar aos robôs rastreadores da web (rastreadores dos serviços de pesquisa online) quais URLs e diretórios de um site possuem permissão para visitar; em resumo gerencia o acesso do indexador no seu site e evitar a sobrecarga de acessos ao site.
O termo robot (do inglês robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo. Para controlar as atividades desses robots durante suas buscas, opcionalmente, os webmasters podem criar no diretório raiz de um determinado endereço web o arquivo no formato texto (.txt) chamado robots.txt aparecendo no link www.site.com/robots.txt; que será um "filtro" para os crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o acesso a partes ou à totalidade de um determinado site.
História Em fevereiro de 1994 o padrão foi proposto por Martijn Koster (enquanto trabalhava para a Nexor) na lista de discussões da www-talk, o então principal canal de atividades relacionadas com a WWW na época.
Exemplo Um exemplo simples do formato do arquivo robots.txt:
# Bloqueia o robô Googlebot e o Bingbot User-agent: Googlebot User-agent: Bingbot Disallow: /
# Permite a indexação dos outros robôs User-agent: * Allow: /
# Bloqueia a indexação do conteúdo da pasta blog Disallow: /blog/
# A pasta blog não será indexada, mas o conteúdo da página home.php será indexado Allow: /blog/home.php
# Bloqueia a indexação de conteúdo da página secreto.php Disallow: secreto.php
# Informa o caminho do sitemap Sitemap: https://www.example.com/sitemap.xml Informa que o user-agent "Googlebot" do Google e o "Bingbot" do Bing não poderão rastrear as URLs, mas os outros user-agents poderão rastrear todo o site;
Informa que os user-agents não podem fazer a indexação do conteúdo da pasta "blog" e o conteúdo da página "secreto.php", mas o conteúdo da página "home.php" que está salvo na pasta "blog" poderá ser indexado;
Informa que o arquivo sitemap.xml está localizado na URL https://www.site.com/sitemap.xml. O sitemap é um arquivo usado para fornecer informações sobre um site e seus arquivos (vídeos, imagens, PDF), e indicar a relação entre eles. Os buscadores online leem esse arquivo para indexar seu site com eficiência, pois informa as páginas e os arquivos que você considera mais importantes no site, e fornece informações sobre cada arquivo.
Para manter um site sem a indexação dos robôs e não aparecer nos resultados dos buscadores online, bloqueie a indexação usando o código noindex ou adicione no site uma senha de acesso. Ao visitar um site, os robôs buscam primeiro pelo arquivo robots. Se o conteúdo deste arquivo listar algo conforme segue:
User-agent: * Disallow: /
então o robô saberá que deve deixar o site sem indexar nada. Outra maneira de se conseguir algo semelhante é através de meta-tags, adicionadas nos cabeçalhos de páginas HTML:
O parâmetro NOINDEX diz ao robô que o conteúdo daquele site não deve ser indexado e NOFOLLOW indica que os possíveis links ali existentes não devem ser analisados.
Se o robô não encontrar o arquivo robots.txt e não houver nenhuma meta-tag que o proíba formalmente de analisar um site, a decisão sobre o que fazer passa a ser do próprio robô. Dependendo do site de busca ao qual ele pertence, ele poderá ou não prosseguir com a busca. A maioria optará por prosseguir (permissão de forma implícita).
Ligações externas The Web Robots Database O arquivo de Robots do Google O arquivo Robots.txt da Wikipédia lusófona
Categoria:Web Categoria:Bots Categoria:SEO