Robots.txt: cosa puoi scriverci e cosa è meglio evitare

Google ha appena dedicato un episodio della sua serie su YouTube a una domanda che sembra banale: cosa si può mettere in un file robots.txt? Emoji, disegni fatti con i caratteri, regole inventate, blocchi per le intelligenze artificiali. La conclusione dei due autori è “tieni il tuo robots.txt noioso”. Sono d’accordo, e provo a spiegare perché.

Cos’è, in due righe

È un file di testo che sta nella radice del sito (per esempio tuosito.it/robots.txt) e dice ai crawler, cioè ai programmi che esplorano il web, quali pagine possono visitare e quali no.

Una cosa che molti confondono: il robots.txt non serve a togliere una pagina da Google. Una pagina bloccata può comunque comparire nei risultati se altri siti la linkano. Per escluderla serve il tag noindex sulla pagina stessa.

Le uniche regole che Google legge

Google considera solo quattro istruzioni: user-agent (a quale crawler ti rivolgi), disallow e allow (cosa bloccare e cosa permettere) e sitemap (dove trovare la mappa del sito).

Tutto il resto viene ignorato. crawl-delay, un noindex scritto nel robots.txt, regole inventate: non danno errore, semplicemente non fanno niente. Il rischio è credere di aver bloccato qualcosa quando non è così.

Commenti e disegni: si può

Tutto quello che segue il simbolo # è un commento, e i crawler lo saltano. C’è chi ci mette il logo disegnato con i caratteri o un messaggio per gli sviluppatori in cerca di lavoro. Male non fa, purché resti dentro i commenti e il file non diventi enorme: Google legge al massimo 500 KB.

Emoji e caratteri non inglesi

Nel nome del crawler no: deve corrispondere al nome reale del bot, e nessun bot importante ha un’emoji nel nome.

Negli indirizzi delle pagine invece sì, ma conviene scriverli in forma codificata, il cosiddetto percent-encoding. Per una pagina /🐔-gear, per esempio, la forma sicura è /%F0%9F%90%94-gear. Google le capisce entrambe, altri crawler non è detto. E il file va salvato in UTF-8.

E le intelligenze artificiali?

Con il robots.txt puoi chiedere ai crawler delle AI di stare lontani dai tuoi contenuti. Funziona però solo con chi rispetta il file, e solo se usi il nome giusto. Google, per esempio, usa un nome a parte, Google-Extended, per decidere se i contenuti che scansiona possono servire ad addestrare Gemini. Bloccarlo non ha effetti sulla presenza del sito in Google Search.

Altre aziende hanno bot diversi per scopi diversi, alcuni per l’addestramento e altri per la ricerca. Qui serve attenzione: bloccare quello sbagliato può farti sparire dalle risposte di ChatGPT e simili, proprio dove molti clienti oggi cercano consigli. Ne ho parlato nell’articolo sulla GEO.

Cosa fare, in pratica

1. Apri il tuo robots.txt aggiungendo /robots.txt all’indirizzo del sito.
2. Controlla che non blocchi pagine importanti, né i file CSS e JavaScript. Capita spesso dopo il passaggio da un sito di prova a quello definitivo, quando resta un Disallow: / che blocca tutto.
3. Togli le regole che Google ignora e aggiungi l’indirizzo della sitemap.
4. Verifica il file nel report robots.txt di Google Search Console.

Un buon robots.txt è fatto di poche righe e non riserva sorprese.

Vuoi un controllo?

Il robots.txt è una delle prime cose che guardo in un audit SEO tecnico. Se vuoi che dia un’occhiata al tuo, scrivimi. Qui trovi il servizio di SEO tecnica e GEO.

Fonti: il video di Google Search Central, la guida ufficiale su come Google interpreta il robots.txt e l’elenco dei crawler di Google.