Crawler, Bot e Spider: quali sono le differenze?

Non ci sono differenze concettuali fra Crawler, Bot e Spider, stiamo parlando di semplici modi di definire il Bot di un motore di ricerca e spesso e volentieri ci riferiamo al robot di Google, così detto “Googlebot“. In giro si vede che c’è molta confusione non solo sulle modalità in cui viene scansionato un sito bensì su come Google indicizza i contenuti che noi webmaster gli diamo in pasto ogni giorno. Il problema è che questo tipo di confusione dilaga anche nella nomenclatura, cerchiamo di fare ordine. 

Crawler, Bot e Spider uniti dallo stesso concetto

Crawler, Bot e Spider sono la stessa cosa, stiamo definendo in vari modi il bot di Google, parliamo del bot, sì del bot di Google, quello che ci scansiona il sito con una certa frequenza (ancora misteriosa) e che lo fa per mezzo dell’aiuto di due file importantissimi (anche se non fondamentali, nel senso che la scansione del nostro sito non dipende di certo da come impostiamo questi due file, avviene, o meglio dovrebbe avvenire lo stesso, ma questa è un’altra storia:) ) Sitemap.xml e Mappa del Sito.

Il primo probabilmente oggi imprescindibile per una strategia SEO Tecnica performante, il secondo forse anche un po’ sottovalutato ultimamente… ma sempre molto utile!

Intervenire sul File Robots.txt

Attenzione inoltre a non fare sciocchezze all’interno del file Robots.txt che è il “posto” dove vengono decise da chi si occupa di SEO le direttive in termini UI/UX e quindi di navigabilità del bot; è qui che diamo le istruzioni utili su come attendere le nostre richieste di Scansione a Google, o Bing o chi per cui.

Il “Robots” è un file decisivo per tutto l’assetto del nostro sito web, all’interno di questo file diamo istruzioni(Allow/Disallow) ai nostri “amici bot” che incidono in maniera diretta sul traffico del nostro sito; non a caso è proprio tramite questo file che suggeriamo a Google quali parti del nostro sito devono essere scansionate e quali no… ma non andiamo oltre, il Robots.txt meriterebbe una guida a parte.

Torniamo al nostro discorso, quindi non vi confondete… chiamate con il nome corretto “gli aggeggi” che determinano il funzionamento di Google.

Crawler, Bot e Spider sono la stessa cosa. E’ sempre il bot di Google, parliamo di lui, di “quel lui” che scansiona le pagine dei nostri siti web e che fotografandole ne coglie gli elementi che possono essere decisivi in termini di posizionamento.

Tutti i bot del Web