Tre tipi diversi di agenti automatici colpiscono i tuoi link, e vogliono cose diverse. Uno raccoglie testo per addestrare un modello. Uno recupera una pagina in questo momento perché una persona ha fatto una domanda. Uno sta costruendo un indice di ricerca. Arrivano con user agent diversi, rispettano regole diverse, e meritano risposte diverse.
Un dominio di redirect è un bersaglio insolito da puntare, perché non ha contenuto. Ogni richiesta è una lookup e un'intestazione Location, quindi un crawler di training non ottiene nulla di utile e un fetcher in tempo reale ottiene un passaggio in più sulla strada verso la pagina che voleva. Questa asimmetria è ciò che rende la decisione di policy semplice, una volta separate le classi. Se ti interessa il lato marketing della questione più che l'idraulica tecnica, answer engine optimization copre cosa fa davvero citare una pagina.
Tre classi, non una sola
Crawler di training. Raccolgono contenuti per addestrare i modelli. OpenAI documenta i propri bot con uno user agent separato per ogni compito, e Anthropic documenta il proprio crawler e le regole che segue nello stesso spirito. Google gestisce l'equivalente tramite un token robots piuttosto che un crawler distinto, cosa che la sua panoramica sui crawler illustra insieme agli agenti di ricerca.
Fetcher in tempo reale. Entrano in azione quando una persona chiede qualcosa a un assistente e l'assistente decide di leggere una pagina. Perplexity documenta esplicitamente questa suddivisione, con un agente per l'indicizzazione e un altro per la richiesta attivata dall'utente. Questa distinzione conta più di qualsiasi altro punto di questo articolo: un fetch in tempo reale è una persona, a un passo di distanza.
Indicizzatori di ricerca. La classe più antica, e quella il cui comportamento sui redirect è meglio compreso. Seguono un redirect permanente, attribuiscono il contenuto alla destinazione, e trattano il dominio breve come un semplice cartello indicatore.
Stessa infrastruttura, tre scopi. Una regola unica per tutti è quasi sempre la scelta sbagliata.
Cosa succede quando un agente colpisce un redirect
La meccanica non ha nulla di straordinario. L'agente richiede l'URL breve, il redirect risponde con un 301 o un 302 e un'intestazione Location, e l'agente lo segue se segue i redirect. La semantica HTTP per il reindirizzamento non è cambiata per questo, e non esiste alcuna gestione speciale per gli agenti IA da nessuna parte nello standard.
Ne seguono due conseguenze. Il dominio breve vede una richiesta che non è una persona, quindi finisce nei tuoi dati di clic a meno che qualcosa non la filtri. E la destinazione vede qualunque cosa faccia l'agente in seguito, che per un fetcher in tempo reale è una normale lettura della pagina.
La parte che si sbaglia più spesso è capire su quale host vivono le regole. RFC 9309 definisce robots.txt come limitato a un'autorità: schema, host e porta. Le regole su example.com/robots.txt governano example.com e nient'altro. Il tuo dominio di redirect è un host diverso, quindi ha bisogno del proprio file, servito da qualunque cosa risponda su quell'host. Molti domini brevi non servono alcun robots.txt, e gli agenti lo leggono come assenza di restrizioni.
Cosa fa ai tuoi conteggi di clic
Il traffico automatico è un problema di misurazione prima che un problema di policy.
Qualsiasi link pubblicamente raggiungibile accumulerà visite di crawler. I link pubblicati su forum pubblici, documentazione e profili social ne attirano molti di più rispetto ai link inviati a una lista privata, e l'effetto si accumula nel corso dei mesi mentre un link di campagna resta attivo solo due settimane.
Elido scarta gli agenti automatici noti prima che il clic venga registrato, non dopo, così la dashboard mostra le persone. È il comportamento che conviene cercare, ed è utile verificarlo in qualsiasi strumento tu usi, perché un contatore grezzo tratta una scansione di crawler come un picco di traffico. Cosa vale la pena misurare nelle analitiche dei link brevi copre la distinzione tra dati filtrati e dati grezzi, e clic contro sessioni GA4 copre di cosa è fatto il divario residuo.
Una nota pratica: il filtraggio si basa su firme, quindi un nuovo agente resta invisibile finché la sua firma non è nota. Se un link mostra un improvviso plateau piatto di richieste identiche, guarda lo user agent prima di guardare la campagna.
Cosa mettere nel robots.txt di un dominio di redirect
Una posizione breve e difendibile per un host che serve solo redirect.
Consenti i fetcher in tempo reale. Quelle richieste esistono perché qualcuno ha fatto una domanda a cui la tua pagina potrebbe rispondere, e bloccarle ti rimuove dalla risposta senza rimuoverti dai dati di training di cui ti preoccupavi. Questa è la singola riga più rilevante del file.
Decidi sui crawler di training in base al principio piuttosto che all'effetto, perché un dominio di redirect non contiene nulla su cui addestrare. Se la tua organizzazione ha una posizione sul training dei modelli, applicala qui per coerenza e non aspettarti alcun cambiamento misurabile in un senso o nell'altro.
Lascia stare gli indicizzatori di ricerca a meno che tu non abbia un motivo. Seguono il redirect e attribuiscono il merito alla destinazione, che è esattamente ciò che vuoi.
E ricorda cosa non fa robots.txt. È una richiesta, non un controllo di accesso, e non ha alcun effetto sul fatto che il redirect funzioni per una persona. Una riga Disallow non rompe i tuoi link; chiede a un agente conforme di non recuperarli. Qualsiasi cosa ignori robots.txt è un problema diverso, con strumenti diversi.
Gestisci link su un dominio che possiedi e vuoi controllare? I domini personalizzati di Elido ti permettono di servire quell'host, che è il prerequisito perché una qualsiasi di queste regole possa applicarsi.
Un link breve ti costa una citazione?
Non di per sé. Un agente che segue il redirect legge la destinazione e cita ciò che ha trovato lì, esattamente come fa un crawler di ricerca.
Ciò che ti costa davvero è l'attrito nel passaggio. Una catena di due o tre redirect prima del contenuto, una risoluzione che dipende da JavaScript, una risposta lenta, o una destinazione che risponde con un interstitial. Ognuno di questi è un'occasione perché il fetch venga abbandonato, e un fetch abbandonato è una pagina che non è entrata nella risposta.
La regola che darei a un team di contenuti: pubblica URL canonici dentro il contenuto, dove un modello li legge come l'indirizzo della cosa, e usa i link brevi per la distribuzione, dove li legge una persona. In questo modo la citazione punta alla tua pagina e il tracciamento continua a funzionare sui canali dove ti serve. Agentic commerce links copre il caso in cui l'agente effettua una transazione anziché leggere.
Misurare il traffico che torna
Una parte è visibile. Gli assistenti che inviano un referrer compaiono come una normale riga di referral, e uno di loro aggiunge un proprio parametro di campagna, motivo per cui chatgpt.com a volte appare nei report come fonte. Il resto arriva come traffico diretto, perché un'interfaccia di chat non ha alcun obbligo di identificarsi.
Tratta la quota visibile come un minimo, non come un totale. Se i referral IA contano abbastanza da essere riportati, la versione onesta è una tendenza direzionale basata sulle fonti che puoi vedere, più una nota che dice che la cifra reale è più alta. Chiunque presenti una percentuale precisa di referral IA sta presentando solo la parte che è riuscito a misurare.
Leggi la serie cornerstone
Questo articolo fa parte del cluster engineering. I link brevi come Terraform è il cornerstone per gestire l'infrastruttura dei link come codice, e answer engine optimization copre il lato dei contenuti dell'essere citati.
Correlati sul Blog
Domande frequenti
I crawler IA seguono i link brevi?
In generale sì. Un redirect è una normale risposta HTTP e gli agenti che rispettano le regole lo seguono fino alla destinazione, che è dove si trova il contenuto per cui sono venuti. Il passaggio compare nei tuoi log come una richiesta sul dominio breve, e la destinazione vede la visita che segue.
Il robots.txt del mio sito principale copre anche il mio dominio breve?
No. Le regole robots si applicano per host, quindi un file servito su example.com non dice nulla su go.example.com. Un dominio di redirect ha bisogno del proprio robots.txt, servito da qualunque cosa risponda alle richieste su quell'host, altrimenti gli agenti lo tratteranno come privo di restrizioni.
Dovrei bloccare i crawler IA dai miei link brevi?
Su un dominio di redirect non c'è nulla che valga la pena addestrare, quindi bloccare i crawler di training ti costa poco. Bloccare i fetcher attivati dall'utente è una decisione diversa: quelle richieste avvengono perché una persona ha chiesto qualcosa a un assistente, e un fetch bloccato significa che la tua pagina non entrerà nella risposta.
I bot IA gonfiano i miei conteggi di clic?
Sì, gonfiano già i conteggi grezzi. Qualsiasi strumento che pubblica totali di richieste non filtrati mostrerà traffico automatico mescolato a quello delle persone, e i link pubblici ne attirano più di quelli privati. Filtrare gli agenti noti prima di contare è la soluzione, ed è utile verificare se il tuo accorciatore lo fa per impostazione predefinita.
Posso vedere il traffico arrivato da un assistente IA?
In parte. Alcuni assistenti inviano un referrer leggibile, e alcuni aggiungono un proprio parametro di campagna, quindi una parte del traffico è identificabile nelle analitiche. Il resto arriva come traffico diretto, perché un'interfaccia di chat non è obbligata a dire al tuo sito da dove viene il visitatore.
Usare un link breve danneggia le mie possibilità di essere citato?
Non in modo significativo, purché il redirect sia veloce e risolva verso una pagina che l'agente può leggere. Ciò che danneggia davvero è una catena di passaggi, un link che richiede JavaScript per essere risolto, o una destinazione che risponde lentamente. Pubblica URL canonici direttamente nel contenuto e riserva i link brevi alla distribuzione.
Prova Elido
Incolla un URL, ottieni un link breve
Senza registrazione. Il link vive 30 giorni. Iscriviti per conservarlo.
Gratis, nessuna registrazione richiesta · 2 al giorno