Hakukoneoptimoinnin perusasiat: Robots.txt
Robots.txt on palvelimelle kansion juureen sijoitettava tiedosto, joka opastaa esimerkiksi hakukonerobottia sivuston indeksoimisen suhteen. Väärin määritelty robots.txt on myös tyypillinen ongelma, mikäli sivusto ei indeksoidu ollenkaan.