Strumento gratuito
Controllo dei crawler AI nel robots.txt
Incolla il robots.txt del tuo sito e scopri, crawler per crawler, se ChatGPT, Claude, Perplexity, Gemini, Copilot e gli altri assistenti AI possono leggere le tue pagine.
- Molti siti bloccano i crawler AI senza saperlo: basta un plugin di sicurezza o un modello di robots.txt copiato.
- Bloccare i crawler di addestramento è una scelta legittima. Bloccare quelli di ricerca ti toglie dalle risposte con le fonti.
Incolla un robots.txt per vedere il risultato.
| Crawler | Uso | Stato |
|---|
Guida rapida
Come si usa
- 1
Scrivi l'indirizzo del sito e apri il suo robots.txt, oppure aprilo tu su tuosito.it/robots.txt.
- 2
Copia tutto il testo e incollalo nel riquadro: il controllo parte subito.
- 3
Leggi la tabella e, se serve, copia le righe suggerite per riaprire le porte ai crawler di ricerca.
FAQ
Domande frequenti
E se il mio sito non ha un robots.txt?
Se tuosito.it/robots.txt risponde con un errore 404, tutti i crawler sono ammessi. Non è un problema, ma conviene averne uno con il link alla sitemap.
Che differenza c’è tra crawler di ricerca e di addestramento?
I crawler di ricerca, come OAI-SearchBot o PerplexityBot, leggono le pagine per rispondere alle domande e citare le fonti. Quelli di addestramento, come GPTBot o CCBot, raccolgono testi per allenare i modelli. Puoi ammettere i primi e bloccare i secondi.
Il mio robots.txt viene inviato da qualche parte?
No. Il controllo avviene nel tuo browser. Il pulsante apre il tuo robots.txt in una nuova scheda, ma questa pagina non lo scarica e non lo invia a nessuno.
Vuoi un sito che fa tutto questo per te?
Ti prepariamo una demo gratuita, già ottimizzata per Google e per le AI.
Richiedi la demo gratuita →Demo gratuita
Vediamo come potrebbe essere il tuo sito.
Scrivici su WhatsApp o per email: ti rispondiamo entro 24 ore lavorative con le prime idee per il tuo sito.