Trei tipuri diferite de agenți automatizați ajung la linkurile tale, și vor lucruri diferite. Unul colectează text pentru a antrena un model. Unul preia o pagină chiar acum pentru că o persoană a pus o întrebare. Unul construiește un index de căutare. Ajung cu user agents diferiți, respectă reguli diferite și merită răspunsuri diferite.
Un domeniu de redirecționare este un lucru neobișnuit spre care să-i îndrepți, pentru că nu are conținut. Fiecare cerere este o căutare și un header Location, așa că un crawler de antrenament nu primește nimic util, iar un fetcher live primește doar un hop în plus pe drumul spre pagina pe care o voia. Această asimetrie este ce face decizia de politică simplă, odată ce separi clasele. Dacă te interesează partea de marketing din asta, nu instalația, answer engine optimization acoperă ce anume face ca o pagină să fie citată.
Trei clase, nu una
Crawlere de antrenament. Acestea colectează conținut pentru antrenarea modelelor. OpenAI își documentează boții cu un user agent separat pentru fiecare sarcină, iar Anthropic își documentează crawlerul și regulile pe care le respectă în același spirit. Google gestionează echivalentul printr-un token robots, nu printr-un crawler distinct, lucru pe care prezentarea sa generală a crawlerelor îl explică alături de agenții de căutare.
Fetchere live. Acestea rulează atunci când o persoană întreabă un asistent ceva, iar asistentul decide să citească o pagină. Perplexity documentează explicit această separare, cu un agent pentru indexare și altul pentru cererea declanșată de utilizator. Această distincție contează mai mult decât orice alt punct din acest articol: un fetch live este o persoană, la un pas distanță.
Indexatori de căutare. Cea mai veche clasă, și cea al cărei comportament în privința redirecționărilor este cel mai bine înțeles. Urmează o redirecționare permanentă, atribuie conținutul destinației și tratează domeniul scurt ca pe un indicator.
Aceeași infrastructură, trei scopuri. O regulă generală pentru toate este aproape mereu decizia greșită.
Ce se întâmplă când unul ajunge la o redirecționare
Mecanica este banală. Agentul cere URL-ul scurt, redirecționarea răspunde cu un 301 sau 302 și un header Location, iar agentul îl urmează, dacă urmează redirecționări în general. Semantica HTTP pentru redirecționare nu s-a schimbat pentru asta, și nu există niciun tratament special pentru agenții AI nicăieri în standard.
Urmează două consecințe. Domeniul scurt vede o cerere care nu este o persoană, așa că ajunge în datele tale de click-uri, dacă nimic nu o filtrează. Iar destinația vede orice face agentul mai departe, ceea ce pentru un fetcher live este o citire normală a paginii.
Partea pe care oamenii o greșesc este pe care host trăiesc regulile. RFC 9309 definește robots.txt ca fiind scopat la o autoritate: schemă, host și port. Regulile de la example.com/robots.txt guvernează example.com și nimic altceva. Domeniul tău de redirecționare este un alt host, așa că are nevoie de propriul fișier, servit de orice răspunde pe acel host. Multe domenii scurte nu servesc deloc un robots.txt, ceea ce agenții citesc drept lipsă de restricții.
Ce face asta numărului tău de click-uri
Traficul automatizat este o problemă de măsurare înainte de a fi o problemă de politică.
Orice link accesibil public va acumula accesări de crawlere. Linkurile postate pe forumuri publice, în documentație și pe profiluri sociale atrag mult mai mult decât linkurile trimise unei liste private, iar efectul se acumulează pe parcursul lunilor, în timp ce un link de campanie este activ doar două săptămâni.
Elido elimină agenții automatizați cunoscuți înainte ca click-ul să fie înregistrat, nu după, așa că dashboard-ul arată oameni. Acesta este comportamentul de dorit, și merită verificat în orice tool folosești, pentru că un contor brut tratează o baleiere de crawler ca pe un vârf de trafic. Ce merită măsurat în analytics-ul linkurilor scurte acoperă distincția filtrat-versus-brut, iar click-uri versus sesiuni GA4 acoperă din ce constă diferența rămasă.
O notă practică: filtrarea se bazează pe semnături, așa că un agent nou este invizibil până când semnătura sa devine cunoscută. Dacă un link arată brusc un platou plat de cereri identice, uită-te la user agent înainte să te uiți la campanie.
Ce să pui în robots.txt pe un domeniu de redirecționare
O poziție scurtă și defendabilă pentru un host doar de redirecționare.
Permite fetcherele live. Acele cereri există pentru că cineva a pus o întrebare la care pagina ta ar putea răspunde, iar blocarea lor te scoate din răspuns fără să te scoată din datele de antrenament de care erai îngrijorat. Aceasta este, de departe, cea mai importantă linie din fișier.
Decide în privința crawlerelor de antrenament pe bază de principiu, nu de efect, pentru că un domeniu de redirecționare nu conține nimic de antrenat. Dacă organizația ta are o poziție despre antrenarea modelelor, aplic-o și aici, pentru consecvență, și nu te aștepta la nicio schimbare măsurabilă, în niciun sens.
Lasă indexatorii de căutare în pace, dacă nu ai un motiv anume. Urmează redirecționarea și atribuie meritul destinației, ceea ce este exact ce vrei.
Și ține minte ce nu face robots.txt. Este o cerere, nu un control de acces, și nu are niciun efect asupra faptului că redirecționarea funcționează pentru o persoană. O linie Disallow nu îți strică linkurile; îi cere unui agent conform să nu le preia. Orice ignoră robots.txt este o problemă diferită, cu tool-uri diferite.
Rulezi linkuri pe un domeniu pe care îl deții și vrei să-l controlezi? Domeniile personalizate Elido îți permit să servești acel host, ceea ce este condiția prealabilă pentru ca oricare dintre aceste reguli să se aplice, în general.
Un link scurt te costă o citare?
Nu prin el însuși. Un agent care urmează redirecționarea citește destinația și citează ce a găsit acolo, exact cum face un crawler de căutare.
Ce chiar te costă este frecarea din hop. Un lanț de două sau trei redirecționări înainte de conținut, o rezolvare care depinde de JavaScript, un răspuns lent, sau o destinație care răspunde cu un interstițial. Fiecare este o șansă ca fetch-ul să fie abandonat, iar un fetch abandonat este o pagină care nu a ajuns în răspuns.
Regula pe care aș da-o unei echipe de conținut: publică URL-uri canonice chiar în conținut, acolo unde un model le citește ca adresa lucrului respectiv, și folosește linkuri scurte pentru distribuție, acolo unde le citește un om. Astfel, citarea indică spre pagina ta, iar tracking-ul funcționează în continuare pe canalele unde ai nevoie de el. Linkurile de comerț agentic acoperă cazul în care agentul face o tranzacție, nu doar citește.
Măsurarea traficului care se întoarce
O parte din el este vizibilă. Asistenții care trimit un referrer apar ca un rând normal de recomandare, iar unul dintre ei adaugă propriul parametru de campanie, motiv pentru care chatgpt.com apare uneori în rapoarte ca sursă. Restul ajunge ca trafic direct, pentru că o interfață de chat nu are nicio obligație să se identifice.
Tratează partea vizibilă ca pe un prag minim, nu ca pe un total. Dacă recomandările AI contează suficient de mult cât să fie raportate, versiunea onestă este o tendință direcțională din sursele pe care le poți vedea, plus o mențiune că cifra reală este mai mare. Oricine prezintă un procent precis de recomandări AI prezintă doar partea pe care a putut să o măsoare.
Citește seria fundamentală
Acest articol face parte din clusterul engineering. Linkurile scurte ca Terraform este articolul fundamental pentru gestionarea infrastructurii de linkuri ca și cod, iar answer engine optimization acoperă partea de conținut a faptului de a fi citat.
Alte articole de pe blog
Întrebări frecvente
Crawlerele AI urmează linkurile scurte?
În general, da. O redirecționare este un răspuns HTTP obișnuit, iar agenții bine-crescuți o urmează până la destinație, acolo unde se află de fapt conținutul pe care îl caută. Hop-ul apare în loguri ca o cerere pe domeniul scurt, iar destinația vede vizita care urmează.
robots.txt de pe site-ul meu principal acoperă și domeniul meu scurt?
Nu. Regulile robots se aplică per host, așa că un fișier servit pe example.com nu spune nimic despre go.example.com. Un domeniu de redirecționare are nevoie de propriul robots.txt, servit de orice răspunde la cereri pe acel host, altfel agenții îl vor trata ca fiind nerestricționat.
Ar trebui să blochez crawlerele AI de la linkurile mele scurte?
Nu există nimic pe un domeniu de redirecționare care să merite antrenat, așa că blocarea crawlerelor de antrenament te costă puțin. Blocarea fetcherelor declanșate de utilizator este o decizie diferită: acele cereri apar pentru că o persoană a întrebat un asistent despre ceva, iar un fetch blocat înseamnă că pagina ta nu ajunge în răspuns.
Roboții AI umflă numărul meu de click-uri?
Umflă numerele brute. Orice tool care publică totaluri de cereri nefiltrate va arăta trafic automatizat amestecat cu oameni, iar linkurile publice atrag mai mult din el decât cele private. Filtrarea agenților cunoscuți înainte de numărare este soluția, și merită verificat dacă serviciul tău de scurtare face asta implicit.
Pot vedea trafic care a venit de la un asistent AI?
Parțial. Unii asistenți trimit un referrer pe care îl poți citi, iar unii adaugă propriul parametru de campanie, așa că o parte din trafic este identificabilă în analytics. Restul ajunge ca trafic direct, pentru că o interfață de chat nu este obligată să spună site-ului tău de unde a venit vizitatorul.
Folosirea unui link scurt îmi scade șansele de a fi citat?
Nu în mod semnificativ, atâta timp cât redirecționarea este rapidă și duce la o pagină pe care agentul o poate citi. Ce chiar afectează este un lanț de hop-uri, un link care are nevoie de JavaScript pentru a se rezolva, sau o destinație care răspunde lent. Publică URL-uri canonice chiar în conținut și păstrează linkurile scurte pentru distribuție.
Încearcă Elido
Lipește un URL, obții un link scurt funcțional
Fără înregistrare. Linkul este activ timp de 30 de zile. Înregistrează-te ca să-l păstrezi pentru totdeauna.
Gratuit, fără înregistrare · 2 pe zi