Ce este fişierul robots.txt?
Fişierul robots.txt este un fişier de tip text, plasat în directorul rădăcină al sitului.
http://www.serviciiseo.info/robots.txt
Majoritatea roboţilor motoarelor de căutare recunosc şi se supun fişierului robots.txt, inspectând întâi acest fişier înainte de a accesa restul conţinutului.
Sintaxa robots.txt
User-agent: * Disallow: Allow: /
User-agent
Această directivă se referă la numele robotului. Pentru ca regula să fie îndeplinită de către toţi roboţii care accesează situl, se poate folosi User-agent: *.
Disallow
Previne indexarea anumitor fişiere sau directoare.
Disallow: /pagina-mea.html va preveni / exclude pagina.mea.html din SERPs.
Disallow: / va exclude întregul conţinut din SERPs.
Exemple
User-agent: * Disallow:
Permite roboţilor vizitarea şi indexarea tuturor paginilor de pe sit.
User-agent: * Disallow: /
Interzice roboţilor vizitarea şi indexarea tuturor paginilor de pe sit.
User-agent: Googlebot-Image Disallow: /images
Interzice accesul robotului Googlebot-Image în directorul images.
Informarea motoarelor de căutare despre calea fişierului sitemap
Pentru a informa motoarele de căutare despre calea fişierului sitemap, adăugaţi următoarea linie la sfârşitul fişierului robots.txt.
Sitemap: <calea_fişierului_sitemap>
