Me siguri ne nuk mund te komandojme robotet e kerkimit (spiderat) qe te vijne e skanerizojne sitin tone, por me siguri mund ti orjentojme, kur ato te kene ardhur.
Gjeja e pare qe nje motor kerkimi kerkon ne sitin tone, eshte nje file “robots.txt” nga i cili merr udhezimet se cfare te kerkoje e cfare jo.

Le te krijojme nje file “di robots.txt” ne root te siti tone, psh: http://www.sitiim.com/robots.txt

Le te shikojme permbajtjen e ketij faili:

User-agent: scooter
Disallow: /

User-agent: googlebot
Disallow: /sekrete.html
Disallow: /admin/
Disallow: /temp/
Disallow: /cgi-bin/

User-agent: *
# Ndalo cdo spider te lexoje ketu
Disallow: /personale/

Pra kemi disa blloqe, nje per cdo motor kerkimi, ja emrat dhe vlerat e identifikimit te nje motori kerkimi:

googlebot	Google
fast	    Fast - Alltheweb
slurp	    Inktomi - Yahoo!
scooter	    Altavista
mercator	Altavista
Ask Jeeves	Ask Jeeves
teoma_agent	Teoma
ia_archiver	Alexa - Internet Archive

pra duam qe asnje motor te lexoje direktorine personale, e qe google te mos lexoj ca direktori, qe Altavista te mos lexoje asgje. Tani mund ta merrni si baze, per te dnertuar failin tuaj, ne baze te struktures qe keni.

eltonkola Te ndryshme, Web motore kerkimi, robots