Drie verschillende soorten geautomatiseerde agents raken je links, en ze willen elk iets anders. Eén verzamelt tekst om een model te trainen. Eén haalt nu een pagina op omdat iemand een vraag stelde. Eén bouwt een zoekindex. Ze komen binnen met verschillende user agents, houden zich aan verschillende regels, en verdienen verschillende antwoorden.
Een redirectdomein is een ongebruikelijk ding om ze naartoe te sturen, omdat het geen content heeft. Elke request is een lookup en een Location-header, dus een training-crawler krijgt niets bruikbaars en een live fetcher krijgt één extra hop onderweg naar de pagina die hij wilde. Die asymmetrie is wat de beleidskeuze eenvoudig maakt zodra je de categorieën scheidt. Kijk je liever naar de marketingkant hiervan dan naar de techniek erachter, dan behandelt answer engine optimization wat een pagina daadwerkelijk geciteerd krijgt.
Drie categorieën, niet één
Training-crawlers. Deze verzamelen content voor modeltraining. OpenAI documenteert zijn bots met een aparte user agent per taak, en Anthropic documenteert zijn crawler en de regels die hij volgt in dezelfde geest. Google regelt het equivalent via een robots-token in plaats van een aparte crawler, wat het crawleroverzicht uiteenzet naast de zoekagents.
Live fetchers. Deze worden actief wanneer iemand een assistent iets vraagt en de assistent besluit een pagina te lezen. Perplexity documenteert de splitsing expliciet, met één agent voor indexering en een andere voor het door de gebruiker getriggerde request. Dit onderscheid is belangrijker dan enig ander punt in dit artikel: een live fetch is een persoon, één stap verwijderd.
Zoekindexers. De oudste categorie, en degene wiens gedrag rond redirects het best begrepen is. Ze volgen een permanente redirect, kennen de content toe aan de bestemming, en behandelen het korte domein als een wegwijzer.
Dezelfde infrastructuur, drie doelen. Eén blanket-regel voor alle drie is bijna altijd de verkeerde keuze.
Wat er gebeurt wanneer zo'n agent een redirect raakt
Het mechanisme is onopvallend. De agent doet een request naar de korte URL, de redirect antwoordt met een 301 of 302 en een Location-header, en de agent volgt hem als hij redirects sowieso volgt. De HTTP-semantiek voor redirection is hiervoor niet veranderd, en er is nergens in de standaard een speciale behandeling voor AI-agents.
Daar volgen twee gevolgen uit. Het korte domein ziet een request die geen persoon is, dus die belandt in je klikdata tenzij iets het eruit filtert. En de bestemming ziet wat de agent vervolgens doet, wat voor een live fetcher een normale lezing van de pagina is.
Waar het vaak misgaat, is op welke host de regels van toepassing zijn. RFC 9309 definieert robots.txt als beperkt tot een authority: scheme, host en port. Regels op example.com/robots.txt gelden voor example.com en niets anders. Je redirectdomein is een andere host, dus het heeft zijn eigen bestand nodig, geserveerd door wat er ook op die host antwoordt. Veel korte domeinen serveren helemaal geen robots.txt, wat agents lezen als geen beperkingen.
Wat het met je klikaantallen doet
Geautomatiseerd verkeer is eerst een meetprobleem en pas daarna een beleidsprobleem.
Elke link die publiek bereikbaar is, verzamelt crawlerhits. Links die worden geplaatst in publieke forums, documentatie en socialmediaprofielen trekken er veel meer aan dan links die naar een private lijst worden gestuurd, en het effect stapelt zich op over maanden terwijl een campagnelink maar twee weken leeft.
Elido verwijdert bekende geautomatiseerde agents voordat de klik wordt geregistreerd in plaats van erna, zodat het dashboard mensen laat zien. Dat is het gedrag dat je wilt, en het is de moeite waard om het te verifiëren in elke tool die je gebruikt, want een ruwe teller behandelt een crawlersweep als een verkeerspiek. Wat het waard is om te meten in short-link-analytics behandelt het onderscheid tussen gefilterd en ruw, en klikken versus GA4-sessies behandelt waaruit het overblijvende verschil bestaat.
Eén praktische kanttekening: filtering is signature-based, dus een nieuwe agent is onzichtbaar totdat zijn signature bekend is. Toont een link plotseling een vlak plateau van identieke requests, kijk dan eerst naar de user agent voordat je naar de campagne kijkt.
Wat je in robots.txt zet op een redirectdomein
Een kort, verdedigbaar standpunt voor een host die alleen redirects doet.
Laat de live fetchers toe. Die requests bestaan omdat iemand een vraag stelde die jouw pagina misschien kan beantwoorden, en ze blokkeren haalt je uit het antwoord zonder je uit de trainingsdata te halen waar je je zorgen om maakte. Dit is verreweg de belangrijkste regel in het bestand.
Beslis over training-crawlers op basis van principe in plaats van effect, want een redirectdomein bevat niets om op te trainen. Heeft je organisatie een standpunt over modeltraining, pas dat hier dan toe voor consistentie, en verwacht sowieso geen meetbaar verschil.
Laat zoekindexers met rust, tenzij je een reden hebt. Ze volgen de redirect en geven de credit aan de bestemming, en dat is precies wat je wilt.
En onthoud wat robots.txt niet doet. Het is een verzoek, geen toegangscontrole, en het heeft geen effect op of de redirect werkt voor een persoon. Een Disallow-regel breekt je links niet; hij vraagt een compliant agent om ze niet op te halen. Alles wat robots.txt negeert, is een ander probleem met andere gereedschappen.
Draai je links op een domein dat je zelf bezit en wilt beheren? Met Elido's custom domains serveer je die host zelf, wat de voorwaarde is om deze regels überhaupt te laten gelden.
Kost een korte link je een citatie?
Niet op zichzelf. Een agent die de redirect volgt, leest de bestemming en citeert wat hij daar aantrof, precies zoals een zoekcrawler dat doet.
Wat je wel kost, is wrijving in de hop. Een keten van twee of drie redirects voordat de content komt, een herleiding die afhankelijk is van JavaScript, een trage response, of een bestemming die antwoordt met een interstitial. Elk daarvan is een kans dat de fetch wordt afgebroken, en een afgebroken fetch is een pagina die het antwoord niet haalde.
De regel die ik een contentteam zou meegeven: publiceer canonieke URL's binnen de content zelf, waar een model ze leest als het adres van het ding, en gebruik korte links voor distributie, waar een mens ze leest. Zo wijst de citatie naar jouw pagina en blijft de tracking werken op de kanalen waar je hem nodig hebt. Agentic commerce links behandelt het geval waarin de agent transacties doet in plaats van leest.
Het verkeer meten dat terugkomt
Een deel ervan is zichtbaar. Assistenten die een referrer sturen, verschijnen als een normale referral-rij, en één ervan voegt een eigen campagneparameter toe, wat verklaart waarom chatgpt.com soms als bron in rapporten opduikt. De rest komt binnen als direct traffic, omdat een chatinterface niet verplicht is zichzelf te identificeren.
Behandel het zichtbare aandeel als een ondergrens, niet als een totaal. Is AI-doorverwijzing belangrijk genoeg om over te rapporteren, dan is de eerlijke versie een richtinggevende trend uit de bronnen die je wel ziet, plus een kanttekening dat het echte cijfer hoger ligt. Wie een precies AI-referralpercentage presenteert, presenteert het deel dat hij kon meten.
Lees de cornerstone-serie
Dit artikel valt onder de engineering-cluster. Short links als Terraform is de cornerstone voor het beheren van linkinfrastructuur als code, en answer engine optimization behandelt de contentkant van geciteerd worden.
Gerelateerd op de blog
Veelgestelde vragen
Volgen AI-crawlers korte links?
Over het algemeen wel. Een redirect is een gewone HTTP-response, en agents die zich netjes gedragen volgen hem naar de bestemming, waar de content staat waarvoor ze kwamen. De hop verschijnt in je logs als een request op het korte domein, en de bestemming ziet het bezoek dat daarop volgt.
Dekt robots.txt op mijn hoofdsite ook mijn korte domein?
Nee. Robots-regels gelden per host, dus een bestand dat wordt geserveerd op example.com zegt niets over go.example.com. Een redirectdomein heeft zijn eigen robots.txt nodig, geserveerd door wat er ook op die host antwoordt, anders behandelen agents het als onbeperkt.
Moet ik AI-crawlers weren van mijn korte links?
Er staat niets op een redirectdomein dat het waard is om op te trainen, dus training-crawlers blokkeren kost je weinig. De door gebruikers getriggerde fetchers blokkeren is een andere beslissing: die requests gebeuren omdat iemand een assistent iets vroeg, en een geblokkeerde fetch betekent dat je pagina het antwoord niet haalt.
Blazen AI-bots mijn klikaantallen op?
Ze blazen de ruwe aantallen op. Elke tool die ongefilterde requesttotalen publiceert, toont geautomatiseerd verkeer vermengd met mensen, en publieke links trekken er meer van aan dan private links. Bekende agents filteren voordat er wordt geteld is de oplossing, en het is de moeite waard om te controleren of jouw shortener dat standaard doet.
Kan ik verkeer zien dat van een AI-assistent afkomstig is?
Deels. Sommige assistenten sturen een referrer die je kunt lezen, en sommige voegen een eigen campagneparameter toe, dus een deel van het verkeer is herkenbaar in analytics. De rest komt binnen als direct traffic, omdat een chatinterface niet verplicht is om je site te vertellen waar de bezoeker vandaan kwam.
Schaadt het gebruik van een korte link mijn kans om geciteerd te worden?
Niet wezenlijk, zolang de redirect snel is en uitkomt op een pagina die de agent kan lezen. Wat wel schaadt, is een keten van hops, een link die JavaScript nodig heeft om te herleiden, of een bestemming die traag antwoordt. Publiceer canonieke URL's in de content zelf en houd korte links voor distributie.
Probeer Elido
Plak een URL, krijg een werkende korte link
Geen aanmelding nodig. Link blijft 30 dagen actief. Meld je aan om hem voor altijd te bewaren.
Gratis, geen aanmelding nodig · 2 per dag