llms.txt e crawler IA: il setup tecnico per la visibilità nell'IA

Cosa fanno llms.txt, robots.txt e sitemap per la visibilità nell'IA

Questi tre file sono livelli distinti con ruoli chiari. robots.txt è il controllo accessi: per ogni crawler definisce quali aree possono essere lette. La sitemap XML è la mappa: elenca le tue URL canoniche più importanti perché nulla venga trascurato. llms.txt è l'invito: offre agli assistenti IA un riassunto curato e leggibile dei contenuti chiave in Markdown.

Per aspettative realistiche: nessuno di questi file forza una citazione. Garantiscono che i contenuti siano trovabili, leggibili dalle macchine e accessibili secondo la tua policy - il presupposto della GEO (Generative Engine Optimization). robots.txt e sitemap sono standard consolidati e diffusi. llms.txt è invece una proposta recente (llmstxt.org, 2024), non ancora interpretata in automatico da tutti i grandi fornitori IA: non affidarti mai solo a esso.

I principali crawler IA e i loro user-agent

Un punto cruciale: addestramento, ricerca e recupero live spesso usano user-agent diversi dello stesso fornitore. Bloccare tutto indiscriminatamente fa perdere anche i canali che generano citazioni. I nomi principali (al 2026; le etichette cambiano):

• GPTBot (OpenAI) - crawler per addestramento/indice di ChatGPT. Bloccarlo toglie i contenuti dal corpus di training.
• OAI-SearchBot e ChatGPT-User (OpenAI) - alimentano i risultati di ricerca di ChatGPT o recuperano una pagina quando l'utente chiede a ChatGPT di aprire un link. Bloccarli = niente citazioni nella ricerca di ChatGPT.
• ClaudeBot e Claude-User (Anthropic) - crawler per Claude e recupero avviato dall'utente. Rilevanti per la visibilità nelle risposte di Claude.
• PerplexityBot e Perplexity-User (Perplexity) - indicizzazione e recupero live per le risposte con fonti di Perplexity.
• Google-Extended (Google) - non è un crawler ma un token robots: controlla solo se i contenuti addestrano Gemini/Vertex AI. Non influisce né su Googlebot né sulle AI Overviews di Google.
• Googlebot (Google) - il crawler classico dietro Google Search e le AI Overviews. Bloccarlo significa sparire dalla ricerca organica.
• Altri agent di training: CCBot (Common Crawl, base di molti modelli), Applebot-Extended (Apple Intelligence), Bytespider (ByteDance), meta-externalagent (Meta).

Configurare robots.txt correttamente - con esempio

Decidi prima la strategia: in genere conviene consentire i bot di ricerca e recupero (OAI-SearchBot, PerplexityBot, ClaudeBot), perché sono proprio quelli che generano risposte citate. Per i bot solo di training (GPTBot, CCBot, Google-Extended) decidi in base alla strategia di marca e proprietà intellettuale. Un esempio pragmatico di policy orientata alla visibilità:

# robots.txt - https://www.weissmann.ai/robots.txt\nUser-agent: OAI-SearchBot\nAllow: /\n\nUser-agent: ClaudeBot\nAllow: /\n\nUser-agent: PerplexityBot\nAllow: /\n\nUser-agent: GPTBot\nAllow: /\n\nUser-agent: *\nAllow: /\nDisallow: /interno/\n\nSitemap: https://www.weissmann.ai/sitemap.xml

Per limitare l'addestramento IA senza perdere Google Search, blocca in modo selettivo: un blocco dedicato "User-agent: GPTBot / Disallow: /" più "User-agent: Google-Extended / Disallow: /" ti tiene fuori dal training mentre Googlebot e OAI-SearchBot continuano a leggere i contenuti. Due limiti da conoscere: robots.txt è solo una direttiva - i bot seri la rispettano, quelli malevoli no (servono blocchi lato server o un WAF). E il file è pubblico, quindi non elencarvi mai percorsi segreti.

Creare llms.txt: struttura ed esempio

llms.txt si trova in /llms.txt ed è puro Markdown. La struttura proposta: un H1 con il nome, un breve blockquote di riepilogo, poi sezioni tematiche con link Markdown alle pagine canoniche più importanti, ciascuna con una breve descrizione. Facoltativo: aggiungere /llms-full.txt con i testi integrali. Mantieni l'elenco breve, aggiornato e curato.

# Weissmann AI Academy\n\n> Piattaforma svizzera di conoscenza su IA, SEO e GEO per le PMI.\n\n## Guide principali\n- [Cos'è la GEO](https://www.weissmann.ai/it/wissen/geo): fondamenti della Generative Engine Optimization\n- [llms.txt e crawler IA](https://www.weissmann.ai/it/wissen/llms-txt): questo setup tecnico\n\n## Chi siamo\n- [Chi è Weissmann](https://www.weissmann.ai/it/chi-siamo): team, approccio, contatti

Due principi ne determinano il valore: accuratezza e manutenzione. Collega solo URL reali e raggiungibili, descrivi i contenuti in modo onesto e aggiorna il file a ogni modifica importante. Un llms.txt obsoleto con link morti danneggia la fiducia più che non averlo affatto.

Sitemap e hreflang per la visibilità multilingue

La sitemap XML elenca le URL canoniche con la data lastmod. Referenziala in robots.txt (riga "Sitemap:") e inviala in Google Search Console e Bing Webmaster Tools - Bing alimenta tra l'altro Copilot. Per la Svizzera il multilinguismo è centrale: con le annotazioni hreflang (de-CH, fr-CH, it-CH, en) segnali quale versione linguistica corrisponde a quale pubblico.

Per la visibilità nell'IA questo conta doppio: collegamenti hreflang puliti aiutano gli assistenti a citare la versione nella lingua giusta, invece di sostenere una risposta in tedesco con la URL italiana. Mantieni valori lastmod realistici e tieni la sitemap libera da redirect, pagine di errore e duplicati non canonici.

Errori comuni e la prospettiva svizzera

Prospettiva svizzera: la tua policy sui crawler fa parte della data governance. Se pubblichi contenuti personali o sensibili, si applicano la legge riveduta sulla protezione dei dati (revDSG/nFADP) e la vigilanza dell'IFPDT (EDOEB), a prescindere da quale bot legga. Vale anche una decisione consapevole su diritto d'autore e uso dei contenuti per l'addestramento IA. Per il mercato svizzero multilingue, segnali hreflang puliti sono obbligatori. Dove preferisci non implementare o verificare da solo questa configurazione, il team Weissmann ti accompagna dalla policy alla realizzazione.

• Bloccare GPTBot aspettandosi comunque citazioni in ChatGPT: le citazioni vengono da OAI-SearchBot e ChatGPT-User, non da GPTBot.
• Credere che Google-Extended ti tolga dalle AI Overviews: queste usano l'indice di Googlebot; Google-Extended riguarda solo il training di Gemini.
• Scambiare robots.txt per una misura di sicurezza: è una direttiva, non un controllo d'accesso - ed è pubblicamente leggibile.
• Regole contraddittorie o ordine errato delle wildcard che bloccano tutto per errore; e un llms.txt pubblicato ma mai aggiornato.