Cu puţin timp în urmă, am scris un scurt articol ce cuprindea diferenţele dintre SEO şi SEM şi definiţiile termenilor LSO & LSM. În continuare, vei putea citi despre diferenţele dintre crawling şi indexing.
Crawling
Crawling sau spidering este un proces prin care roboţii motoarelor de căutare extrag şi analizează conţinutul unei anumite pagini web după reguli prestabilite ( interogarea fişierului robots.txt, revizitarea sitului la un anumit interval în funcţie de data ultimei modificări a paginii etc. ).
Indexing
După ce pagina web este analizată, conţinutul este extras de către robot / crawler şi indexat. Indexarea unui sit este un proces care durează şi depinde de mai mulţi factori ( conţinut dinamic, utilizarea de metode blackhat, popularitate scăzută etc. ).
Pentru a preveni indexarea unei pagini în motoarele de căutare ai la dispoziţie diverse metode:
- Fişierul robots.txt
- Tagurile META
- Pentru fişiere non-HTML, directiva X-Robots-Tag

