Šta je robots.txt?
Robots.txt je tekstualni fajl koji pretraživačima govori koje delove sajta smeju da obilaze, a koje ne.
Fajl robots.txt stoji u korenu sajta i prvo je što pretraživač pročita. U njemu se navodi šta ne treba obilaziti — najčešće administracija, korpa, rezultati unutrašnje pretrage.
Najskuplja greška
Jedan red:
Disallow: /
zabranjuje ceo sajt. Dešava se kad razvojna verzija ode u produkciju sa istim fajlom — sajt polako nestaje iz pretrage, a niko ne zna zašto. Ovo treba proveriti prvog dana posle lansiranja.
Šta robots.txt nije
Nije zaštita. Fajl je javan i svako može da ga otvori. Za skrivanje osetljivog sadržaja koristi se lozinka, ne robots.txt. Za izbacivanje strane iz rezultata koristi se noindex oznaka.