Scriam într-un articol mai vechi despre diferenţele dintre crawling şi indexing, două acţiuni efectuate de crawlere ( roboţii motoarelor de căutare ) asupra paginii curente la intervale diferite de timp.
Frecvenţa accesării ( crawling ) este determinată de mai mulţi factori ce diferă pentru fiecare sit în parte.
Reactualizarea conţinutului
Frecvenţa cu care reactualizezi conţinutul sitului, adăugând conţinut nou sau modificând cel existent influenţează intervalul dintre vizitele unui crawler.
Notificarea schimbărilor în sit
Cea mai uşoară metodă de a informa crawlerele asupra modificărilor ce au loc în situl tău este crearea unui sitemap XML şi adăugarea acestuia în contul tău Google Webmasters Tools, Yahoo! Site Explorer sau Live Webmasters Tools.
Crearea unui sitemap XML se face relativ simplu, trebuie doar să urmezi formatul disponibil pe sitemaps.org, acceptat de majoritatea motoarelor de căutare.
O alternativă de a notifica crawlerele asupra modificărilor efectuate este folosirea serviciilor ping via XML-RPC şi RPC2, o metodă des întâlnită la platformele de bloguri.
Structura linkurilor interne
Un alt factor important în determinarea frecvenţei de accesare este structura linkurilor interne. Autoritatea unei pagini este stabilită de popularitatea acesteia în cadrul celorlalte pagini interne. Aceste pagini sunt în general accesate mai des.
Backlinks
Numărul de IBL-uri ( linkuri de pe situri externe ) determină popularitatea unui sit, reprezentând în acelaşi timp un factor ce influenţează vizibilitatea în rezultatele căutărilor.
Dacă derulezi o campanie de link-building, caută în primul rând linkuri pe situri relevante la conţinutul sitului tău sau pe situri cu autoritate.
Google Webmasters Tools – Crawl Rate
Google oferă webmasterilor posibilitatea de a-şi configura singuri frecvenţa cu care Googlebot le va accesa situl. Opţiunea poate fi găsită în secţiunea Settings.
Am incercat si eu modificarea crawl rate din google webmaster tools fara insa a vedea modificari semnificative in trafficul google bot pe site
Aşa este.
E clar că această opţiune depinde şi ea la rândul ei de mai mulţi factori ( viteza server, broken links etc. )
Dacă-ţi aminteşti în vechea versiune, opţiune “Faster” era uneori dezactivată şi puteai selecta între “Normal” şi “Slow”.
am vazut un screen-ul postat aici, ca ai seatat crawl rate aproape de slow, eu mi-am schimbat permalink-ul de la wordpress, imi recomandati sa dau crawl rate spre faster, pentru a se reface link-urile ?
Setările din imaginea de mai sus sunt cele “default”, stabilite de Google.
Poţi creşte valoarea crawl rate-ului, mărind astfel numărul de accesări din partea lui Google.
În plus, îţi recomand să-ţi îndrepţi atenţia spre backlinks, caută să sporeşti popularitatea sitului.
adica daca site-ul este mai populat, astfel o sa reusesc sa indrept eroarea 404, adica spider-ul sa isi faca treaba mai bine ?
Google va descoperi singur noile linkuri. Paginile ce nu vor mai exista ( cele ce returnează eroarea 404 ) vor dispărea în timp.
Linkurile te vor ajuta să-ţi sporeşti popularitatea sitului => creşte frecvenţa cu care Google îţi va accesa situl, în mod natural.