Drei verschiedene Arten automatisierter Agenten treffen auf deine Links, und sie wollen unterschiedliche Dinge. Der eine sammelt Text, um ein Modell zu trainieren. Der andere holt gerade jetzt eine Seite ab, weil eine Person eine Frage gestellt hat. Der dritte baut einen Suchindex auf. Sie kommen mit unterschiedlichen User-Agents, befolgen unterschiedliche Regeln und verdienen unterschiedliche Antworten.
Eine Weiterleitungsdomain ist ein ungewöhnliches Ziel für sie, weil sie keinen Inhalt hat. Jede Anfrage ist ein Lookup und ein Location-Header, sodass ein Trainings-Crawler nichts Brauchbares bekommt und ein Live-Fetcher einen zusätzlichen Sprung auf dem Weg zur gewünschten Seite macht. Diese Asymmetrie macht die Policy-Entscheidung einfach, sobald du die Klassen trennst. Wenn dich eher die Marketing-Seite davon interessiert als die Technik dahinter, behandelt Answer Engine Optimization, was eine Seite tatsächlich zitierfähig macht.
Drei Klassen, nicht eine
Trainings-Crawler. Diese sammeln Inhalte für das Modelltraining. OpenAI dokumentiert seine Bots mit einem eigenen User-Agent für jede Aufgabe, und Anthropic dokumentiert seinen Crawler und die Regeln, denen er folgt, im selben Geist. Google regelt das Äquivalent über ein Robots-Token statt über einen eigenen Crawler, was sein Crawler-Überblick neben den Suchagenten darlegt.
Live-Fetcher. Diese laufen, wenn eine Person einen Assistenten etwas fragt und der Assistent beschließt, eine Seite zu lesen. Perplexity dokumentiert die Trennung explizit, mit einem Agenten für die Indexierung und einem anderen für die nutzerausgelöste Anfrage. Diese Unterscheidung zählt mehr als jeder andere Punkt in diesem Beitrag: Ein Live-Fetch ist eine Person, nur einen Schritt entfernt.
Suchindexierer. Die älteste Klasse, und diejenige, deren Verhalten bei Weiterleitungen am besten verstanden ist. Sie folgen einer permanenten Weiterleitung, ordnen den Inhalt dem Ziel zu und behandeln die Kurzdomain als Wegweiser.
Gleiche Infrastruktur, drei Zwecke. Eine pauschale Regel für alle drei ist fast immer die falsche Entscheidung.
Was passiert, wenn einer auf eine Weiterleitung trifft
Die Mechanik ist unspektakulär. Der Agent fordert die Kurz-URL an, die Weiterleitung antwortet mit 301 oder 302 und einem Location-Header, und der Agent folgt ihr, sofern er Weiterleitungen überhaupt befolgt. Die HTTP-Semantik für Weiterleitungen hat sich dafür nicht geändert, und es gibt nirgends im Standard eine Sonderbehandlung für KI-Agenten.
Daraus folgen zwei Konsequenzen. Die Kurzdomain sieht eine Anfrage, die keine Person ist, also landet sie in deinen Klickdaten, sofern nichts sie herausfiltert. Und das Ziel sieht, was der Agent als Nächstes tut - bei einem Live-Fetcher ist das ein normales Lesen der Seite.
Der Teil, den viele falsch verstehen, ist, auf welchem Host die Regeln gelten. RFC 9309 definiert robots.txt als auf eine Autorität begrenzt: Schema, Host und Port. Regeln unter example.com/robots.txt gelten für example.com und nichts sonst. Deine Weiterleitungsdomain ist ein anderer Host, sie braucht also ihre eigene Datei, ausgeliefert von dem, was auf diesem Host antwortet. Viele Kurzdomains liefern überhaupt keine robots.txt aus, was Agenten als keinerlei Einschränkung lesen.
Was das mit deinen Klickzahlen macht
Automatisierter Traffic ist zuerst ein Messproblem, bevor er ein Policy-Problem ist.
Jeder öffentlich erreichbare Link sammelt Crawler-Treffer an. Links, die in öffentlichen Foren, Dokumentationen und Social-Profilen gepostet werden, ziehen weit mehr an als Links, die an eine private Liste verschickt werden, und der Effekt summiert sich über Monate, während ein Kampagnenlink nur zwei Wochen lang aktiv ist.
Elido verwirft bekannte automatisierte Agenten, bevor der Klick erfasst wird, statt danach, sodass das Dashboard Menschen zeigt. Das ist das Verhalten, das du willst, und es lohnt sich, das in jedem Tool zu überprüfen, das du nutzt, denn ein roher Zähler behandelt einen Crawler-Durchlauf wie eine Traffic-Spitze. Was in der Kurzlink-Analyse wirklich zählt behandelt den Unterschied zwischen gefiltert und roh, und Klicks im Vergleich zu GA4-Sitzungen behandelt, woraus die verbleibende Lücke besteht.
Ein praktischer Hinweis: Das Filtern basiert auf Signaturen, daher ist ein neuer Agent unsichtbar, bis seine Signatur bekannt ist. Wenn ein Link plötzlich ein flaches Plateau identischer Anfragen zeigt, schau dir zuerst den User-Agent an, bevor du die Kampagne prüfst.
Was in die robots.txt einer Weiterleitungsdomain gehört
Eine kurze, vertretbare Position für einen reinen Weiterleitungs-Host.
Erlaube die Live-Fetcher. Diese Anfragen existieren, weil jemand eine Frage gestellt hat, die deine Seite beantworten könnte, und sie zu blockieren entfernt dich aus der Antwort, ohne dich aus den Trainingsdaten zu entfernen, um die du dir Sorgen gemacht hast. Das ist die mit Abstand folgenreichste Zeile in der Datei.
Entscheide über Trainings-Crawler aus Prinzip statt aus Wirkung, denn eine Weiterleitungsdomain enthält nichts, worauf sich trainieren ließe. Wenn deine Organisation eine Haltung zum Modelltraining hat, wende sie hier der Konsistenz wegen an und erwarte in beide Richtungen keine messbare Veränderung.
Lass Suchindexierer in Ruhe, sofern du keinen Grund hast. Sie folgen der Weiterleitung und schreiben das Ziel gut, und genau das willst du.
Und denk daran, was robots.txt nicht tut. Es ist eine Bitte, keine Zugriffskontrolle, und es hat keinen Einfluss darauf, ob die Weiterleitung für eine Person funktioniert. Eine Disallow-Zeile bricht deine Links nicht; sie bittet einen konformen Agenten, sie nicht abzurufen. Alles, was robots.txt ignoriert, ist ein anderes Problem mit anderen Werkzeugen.
Betreibst du Links über eine Domain, die dir gehört und die du kontrollieren willst? Elidos eigene Domains lassen dich diesen Host bedienen - die Voraussetzung dafür, dass diese Regeln überhaupt greifen.
Kostet dich ein Kurzlink eine Zitierung?
Nicht von sich aus. Ein Agent, der der Weiterleitung folgt, liest das Ziel und zitiert, was er dort gefunden hat, genau wie ein Suchcrawler.
Was dich tatsächlich kostet, ist Reibung im Sprung. Eine Kette aus zwei oder drei Weiterleitungen vor dem Inhalt, eine Auflösung, die von JavaScript abhängt, eine langsame Antwort oder ein Ziel, das mit einem Interstitial antwortet. Jedes davon ist eine Gelegenheit, dass der Fetch abgebrochen wird, und ein abgebrochener Fetch ist eine Seite, die es nicht in die Antwort geschafft hat.
Die Regel, die ich einem Content-Team geben würde: Veröffentliche kanonische URLs direkt im Inhalt, wo ein Modell sie als Adresse der Sache liest, und nutze Kurzlinks für die Distribution, wo ein Mensch sie liest. So zeigt die Zitierung auf deine Seite, und das Tracking funktioniert trotzdem auf den Kanälen, wo du es brauchst. Agentic-Commerce-Links behandelt den Fall, in dem der Agent eine Transaktion durchführt statt zu lesen.
Den zurückkommenden Traffic messen
Ein Teil davon ist sichtbar. Assistenten, die einen Referrer senden, erscheinen als normale Referral-Zeile, und einer von ihnen hängt einen eigenen Kampagnenparameter an, weshalb chatgpt.com in Reports manchmal als Quelle auftaucht. Der Rest kommt als direkter Traffic an, weil eine Chat-Oberfläche nicht verpflichtet ist, sich zu identifizieren.
Behandle den sichtbaren Anteil als Untergrenze, nicht als Gesamtsumme. Wenn KI-Referrals wichtig genug sind, um darüber zu berichten, ist die ehrliche Version ein Richtungstrend aus den Quellen, die du sehen kannst, plus der Hinweis, dass die echte Zahl höher liegt. Wer einen präzisen KI-Referral-Prozentsatz präsentiert, präsentiert den Teil, den er messen konnte.
Die Cornerstone-Serie lesen
Dieser Beitrag gehört zum Engineering-Cluster. Kurzlinks als Terraform ist der Cornerstone für das Verwalten von Link-Infrastruktur als Code, und Answer Engine Optimization behandelt die Content-Seite des Zitiertwerdens.
Weitere Artikel im Blog
Häufig gestellte Fragen
Folgen KI-Crawler Kurzlinks?
Im Allgemeinen ja. Eine Weiterleitung ist eine gewöhnliche HTTP-Antwort, und wohlerzogene Agenten folgen ihr zum Ziel, wo der Inhalt liegt, wegen dem sie gekommen sind. Der Sprung erscheint in deinen Logs als Anfrage auf der Kurzdomain, und das Ziel sieht den Besuch, der darauf folgt.
Deckt robots.txt auf meiner Hauptseite auch meine Kurzdomain ab?
Nein. Robots-Regeln gelten pro Host, daher sagt eine Datei unter example.com nichts über go.example.com aus. Eine Weiterleitungsdomain braucht ihre eigene robots.txt, ausgeliefert von dem, was Anfragen auf diesem Host beantwortet, sonst behandeln Agenten sie als uneingeschränkt.
Sollte ich KI-Crawler von meinen Kurzlinks blockieren?
Auf einer Weiterleitungsdomain gibt es nichts, das sich zum Trainieren lohnt, daher kostet dich das Blockieren von Trainings-Crawlern wenig. Das Blockieren der nutzerausgelösten Fetcher ist eine andere Entscheidung: Diese Anfragen entstehen, weil eine Person einen Assistenten nach etwas gefragt hat, und ein blockierter Fetch bedeutet, dass deine Seite es nicht in die Antwort schafft.
Blähen KI-Bots meine Klickzahlen auf?
Sie blähen Rohzahlen auf. Jedes Tool, das ungefilterte Anfrage-Summen veröffentlicht, zeigt automatisierten Traffic vermischt mit echten Menschen, und öffentliche Links ziehen davon mehr an als private. Das Filtern bekannter Agenten vor dem Zählen ist die Lösung, und es lohnt sich zu prüfen, ob dein Kürzer das standardmäßig tut.
Kann ich Traffic sehen, der von einem KI-Assistenten kam?
Teilweise. Manche Assistenten senden einen Referrer, den du auslesen kannst, und manche hängen einen eigenen Kampagnenparameter an, sodass ein Teil des Traffics in den Analytics identifizierbar ist. Der Rest kommt als direkter Traffic an, weil eine Chat-Oberfläche nicht verpflichtet ist, deiner Seite mitzuteilen, woher der Besucher kam.
Schadet die Verwendung eines Kurzlinks meinen Chancen, zitiert zu werden?
Nicht wesentlich, solange die Weiterleitung schnell ist und zu einer Seite führt, die der Agent lesen kann. Was tatsächlich schadet, ist eine Kette von Sprüngen, ein Link, der JavaScript zur Auflösung braucht, oder ein Ziel, das langsam antwortet. Veröffentliche kanonische URLs direkt im Inhalt und nutze Kurzlinks für die Distribution.
Elido testen
URL einfügen, kurzer Link in Sekunden
Kein Konto nötig. Link bleibt 30 Tage aktiv. Konto erstellen, um ihn dauerhaft zu behalten.
Kostenlos, keine Anmeldung erforderlich · 2 pro Tag