Robots.txt on palvelimelle kansion juureen sijoitettava tiedosto, joka opastaa esimerkiksi hakukonerobottia sivuston indeksoimisen suhteen. Väärin määritelty robots.txt on myös tyypillinen ongelma, mikäli sivusto ei indeksoidu ollenkaan.
Robots.txt -perusasiat
Mikäli sivullasi on indeksoitumisongelmia, tarkista tämän oppaan avulla, että kyse ei ole väärin määritellystä robots.txt:stä.
Löydät robots.txt -tiedoston aivan sivustosi juuresta, esimerkiksi http://www.esimerkkisivu.fi/robots.txt
Salli sisältö roboteille (sallii indeksoitumisen hakukoneisiin)
User-agent: *
Disallow:
Estä sisältö roboteilta (estää indeksoitumisen hakukoneisiin)
User-agent: *
Disallow: /
Estä tietty kansio tietyltä robotilta
User-agent: Googlebot
Disallow: /salainen-kansio/
Ohjaa robotin löytämään epätavallisessa paikassa oleva sitemap
User-agent: *
Disallow:Sitemap: http://www.esimerkkisivu.fi/alikansio/sitemap.xml
Lue myös
Hakukoneoptimoinnin perusasiat: Ohjaa sama sisältö yhteen domainiin