Crawler, Bot e Spider: quali sono le differenze? - Effettoundici 1
+39 338 2498107 info@effettoundici.it

Non ci sono differenze concettuali fra Crawler, Bot e Spider. Stiamo parlando di modi di definire sostanzialmente il Bot di un motore di ricerca,spesso e volentieri ci riferiamo al robot di Google, così detto “Googlebot“. C’è molta confusione non solo sulle modalità in cui viene scansionato un sito bensì su come Google indicizza i contenuti che noi webmaster gli diamo in pasto ogni giorno mediante i nostri siti. Il problema è che questo tipo di confusione dilaga anche nella nomenclatura. 

Crawler, Bot e Spider uniti dallo stesso concetto

Crawler, Bot e Spider sono la stessa cosastiamo definendo in vari modi il bot di Google, parliamo del bot, sì del bot di Google, quello che ci scansiona il sito con una certa frequenza (ancora misteriosa) e che lo fa per mezzo dell’aiuto di due file importantissimi (anche se non fondamentali, nel senso che la scansione del nostro sito non dipende di certo da come impostiamo questi due file, avviene, o meglio dovrebbe avvenire lo stesso) Sitemap.xml e Mappa del Sito. Il primo probabilmente oggi imprescindibile per una strategia SEO Tecnica performante, il secondo forse anche un po’ sottovalutato ultimamente… ma sempre molto utile!

Intervenire sul File Robots.txt

Attenzione inoltre a non fare sciocchezze all’interno del file Robot.txt che è il “posto” dove vengono decise da chi si occupa di SEO le direttive in termini UI/UX e quindi di navigabilità del bot; è qui che diamo le istruzioni utili su come attendere le nostre richieste di Scansione a Google, o Bing o chi per cui. Il Robots è un file decisivo per tutto l’assetto del nostro sito web, all’interno di questo file diamo istruzioni(Allow/Disallw) ai nostri “amici bot” che incidono in maniera diretta sul traffico del nostro sito, non a caso gli suggeriamo quali parti del nostro sito deve scansionare e quali no… ma non andiamo oltre, il Robots.tx meriterebbe una guida a parte.

Torniamo al nostro discorso, quindi non vi confondete… chiamate con il nome corretto “gli aggeggi” che determinano il funzionamento di Google. Crawler, Bot e Spider sono la stessa cosa. E’ sempre il bot di Google, parliamo di lui, di lui che scansiona le pagine dei nostri siti web e che fotografandole ne coglie gli elementi che possono essere decisivi in termini di posizionamento.

Tutti i bot del Web

Nome spider Motore di ricerca
googlebot Google
fast Fast Alltheweb
slurp Inktomi Yahoo!
scooter Altavista
mercator Altavista
Ask Jeeves Ask Jeeves
teoma_agent Teoma
ia_archiver Alexa Internet Archive
Yahoo! Slurp Yahoo
Romilda Facebook

 

1