Ricerca Google e Google news perché alcuni siti ‘anche grandi’ non compaiono più ? Problemi di Indicizzazione

Google ha annunciato importanti cambiamenti riguardo ai GoogleBot e a uno strumento cruciale presente in Search Console.

Possibili Problemi di Indicizzazione

Tuttavia, con la cessazione del Crawl Rate Limiter Tool, alcuni gestori di siti potrebbero affrontare problemi di indicizzazione. Senza il controllo manuale sulle visite dei bot, è essenziale monitorare attentamente le metriche di indicizzazione per rilevare eventuali anomalie o diminuzioni di visibilità online.

I GoogleBot: Una Trasformazione Annunciata

I GoogleBot, gli occhi algoritmici di Google su internet, hanno subito un’evoluzione significativa. Nel comunicato ufficiale pubblicato su Search Central, Google ha rivelato la fine di un tool noto: sos-wp.it.

Conseguenze della Trasformazione

Sebbene i GoogleBot siano progettati per indicizzare i contenuti di siti WordPress, il loro impatto sull’esperienza utente può essere rilevante. In passato, questo problema era gestito tramite un tool specifico all’interno di Search Console. Tuttavia, Google ha annunciato che questo strumento non sarà più necessario, poiché i bot sono ora in grado di svolgere il loro lavoro senza interferire col traffico utente.

Addio al Crawl Rate Limiter Tool

Dal 8 gennaio 2024, il Crawl Rate Limiter Tool, introdotto più di quindici anni fa per gestire il traffico dei bot, sarà disattivato. Nonostante fosse un’ottima risorsa, il tool risultava lento e richiedeva frequenti reset ogni 90 giorni. Gli “miglioramenti” alla logica di crawling e ad altri strumenti rendono ora obsoleto questo tool.

Nuovi Approcci alla Gestione di Indicizzazione e Crawling

Con l’evoluzione dei GoogleBot, i gestori di siti web devono adottare nuovi approcci per gestire indicizzazione e crawling sulle pagine WordPress. L’annuncio suggerisce che la nuova tecnologia consente ai bot di regolare automaticamente la frequenza delle visite, semplificando la gestione del traffico per i gestori dei siti.

Il Ruolo Cruciale del File robots.txt

Con l’addio al Crawl Rate Limiter Tool, il file robots.txt diventa ancora più cruciale. Questo file, situato nella directory principale del sito, consente di indicare ai motori di ricerca quali URL esaminare. È fondamentale comprendere come utilizzarlo per gestire l’accesso dei bot e mantenere il controllo sulla scansione del sito.

Aggiornamenti al File robots.txt e il Ruolo di ChatGPT

Il file robots.txt, che può essere aggiornato periodicamente, permette di specificare quali bot sono autorizzati o vietati. È possibile regolare l’accesso anche per bot come quelli utilizzati da OpenAI, come ChatGPT. Tuttavia, le modifiche richiedono generalmente 24 ore per entrare in vigore, ma è possibile accelerare il processo utilizzando il tester dei file robots.txt.

In chiusura, Google consiglia di continuare a utilizzare il form per richiedere la riduzione della frequenza di scansione, anche se gli algoritmi migliorati gestiranno automaticamente la situazione. La comprensione del file robots.txt diventa quindi cruciale per i gestori di siti web che vogliono mantenere il controllo sul crawling e sull’indicizzazione, mitigando potenziali problemi derivanti dai cambiamenti nei GoogleBot.