ze stronami edycji w Wikipedii, np.: http://pl.wikipedia.org/w/wiki.phtml?title=Robots_Exclusion_Protocol&action=edit Duże obciążenie serwera w związku z generacją strony oraz zwykłą niechęć do tego, żeby była ona w bazach wyszukiwarek. Niektóre strony internetowe z różnych przyczyn wolą pozostać poza wyszukiwarkami, lub pozwalają na indeksowanie tylko swojej strony głównej.
Mechanizmy Istnieją dwa mechanizmy : robots.txt i znaczniki meta.
robots.txt Najważniejszym mechanizmem jest plik robots.txt umieszczony w katalogu głównym serwera. Zgodnie ze standardem , robots.txt to plik składający się z: komentarzy zaczętych od # rekordów oddzielonych pustymi liniami rekord składa się z pól Nazwa: Wartość jednego pola User-agent pól Disallow
Opis pól:
User-agent oznacza jakich programów dany rekord dotyczy.
Disallow to przedrostki (prefiksy) URL-i, których ściągać nie wolno.
User-agent: * dotyczy wszystkich niewymienionych w innych rekordach programów.
Niektóre boty rozumieją też inne pola, np.