6 Min. LesezeitEngineering

KI-Crawler und Kurzlinks: Was die Bots wirklich tun

Trainings-Crawler, Live-Fetcher und Suchbots treffen auf Ihre Weiterleitungen. Welche einer 301 folgen, was sie Ihre Klickzahlen kosten und wen Sie zulassen.

Marius Voß
DevRel · edge infra

Drei verschiedene Arten automatisierter Agenten treffen auf Ihre Links, und sie wollen unterschiedliche Dinge. Der eine sammelt Text, um ein Modell zu trainieren. Der andere holt gerade jetzt eine Seite ab, weil eine Person eine Frage gestellt hat. Der dritte baut einen Suchindex auf. Sie kommen mit unterschiedlichen User-Agents, befolgen unterschiedliche Regeln und verdienen unterschiedliche Antworten.

Eine Weiterleitungsdomain ist ein ungewöhnliches Ziel für sie, weil sie keinen Inhalt hat. Jede Anfrage ist ein Lookup und ein Location-Header, sodass ein Trainings-Crawler nichts Brauchbares bekommt und ein Live-Fetcher einen zusätzlichen Sprung auf dem Weg zur gewünschten Seite macht. Diese Asymmetrie macht die Policy-Entscheidung einfach, sobald Sie die Klassen trennen. Wenn Sie eher die Marketing-Seite davon interessiert als die Technik dahinter, behandelt Answer Engine Optimization, was eine Seite tatsächlich zitierfähig macht.

Drei Klassen, nicht eine

Trainings-Crawler. Diese sammeln Inhalte für das Modelltraining. OpenAI dokumentiert seine Bots mit einem eigenen User-Agent für jede Aufgabe, und Anthropic dokumentiert seinen Crawler und die Regeln, denen er folgt, im selben Geist. Google regelt das Äquivalent über ein Robots-Token statt über einen eigenen Crawler, was sein Crawler-Überblick neben den Suchagenten darlegt.

Live-Fetcher. Diese laufen, wenn eine Person einen Assistenten etwas fragt und der Assistent beschließt, eine Seite zu lesen. Perplexity dokumentiert die Trennung explizit, mit einem Agenten für die Indexierung und einem anderen für die nutzerausgelöste Anfrage. Diese Unterscheidung zählt mehr als jeder andere Punkt in diesem Beitrag: Ein Live-Fetch ist eine Person, nur einen Schritt entfernt.

Suchindexierer. Die älteste Klasse, und diejenige, deren Verhalten bei Weiterleitungen am besten verstanden ist. Sie folgen einer permanenten Weiterleitung, ordnen den Inhalt dem Ziel zu und behandeln die Kurzdomain als Wegweiser.

Gleiche Infrastruktur, drei Zwecke. Eine pauschale Regel für alle drei ist fast immer die falsche Entscheidung.

Was passiert, wenn einer auf eine Weiterleitung trifft

Die Mechanik ist unspektakulär. Der Agent fordert die Kurz-URL an, die Weiterleitung antwortet mit 301 oder 302 und einem Location-Header, und der Agent folgt ihr, sofern er Weiterleitungen überhaupt befolgt. Die HTTP-Semantik für Weiterleitungen hat sich dafür nicht geändert, und es gibt nirgends im Standard eine Sonderbehandlung für KI-Agenten.

Daraus folgen zwei Konsequenzen. Die Kurzdomain sieht eine Anfrage, die keine Person ist, also landet sie in Ihren Klickdaten, sofern nichts sie herausfiltert. Und das Ziel sieht, was der Agent als Nächstes tut - bei einem Live-Fetcher ist das ein normales Lesen der Seite.

Der Teil, den viele falsch verstehen, ist, auf welchem Host die Regeln gelten. RFC 9309 definiert robots.txt als auf eine Autorität begrenzt: Schema, Host und Port. Regeln unter example.com/robots.txt gelten für example.com und nichts sonst. Ihre Weiterleitungsdomain ist ein anderer Host, sie braucht also ihre eigene Datei, ausgeliefert von dem, was auf diesem Host antwortet. Viele Kurzdomains liefern überhaupt keine robots.txt aus, was Agenten als keinerlei Einschränkung lesen.

Eine in einem KI-Assistenten gestellte Frage, die zu einem Live-Fetch eines Kurzlinks führt, dem Weiterleitungssprung und dem Lesen der Zielseite

Was das mit Ihren Klickzahlen macht

Automatisierter Traffic ist zuerst ein Messproblem, bevor er ein Policy-Problem ist.

Jeder öffentlich erreichbare Link sammelt Crawler-Treffer an. Links, die in öffentlichen Foren, Dokumentationen und Social-Profilen gepostet werden, ziehen weit mehr an als Links, die an eine private Liste verschickt werden, und der Effekt summiert sich über Monate, während ein Kampagnenlink nur zwei Wochen lang aktiv ist.

Elido verwirft bekannte automatisierte Agenten, bevor der Klick erfasst wird, statt danach, sodass das Dashboard Menschen zeigt. Das ist das Verhalten, das Sie wollen, und es lohnt sich, das in jedem Tool zu überprüfen, das Sie nutzen, denn ein roher Zähler behandelt einen Crawler-Durchlauf wie eine Traffic-Spitze. Was in der Kurzlink-Analyse wirklich zählt behandelt den Unterschied zwischen gefiltert und roh, und Klicks im Vergleich zu GA4-Sitzungen behandelt, woraus die verbleibende Lücke besteht.

Ein praktischer Hinweis: Das Filtern basiert auf Signaturen, daher ist ein neuer Agent unsichtbar, bis seine Signatur bekannt ist. Wenn ein Link plötzlich ein flaches Plateau identischer Anfragen zeigt, schauen Sie sich zuerst den User-Agent an, bevor Sie die Kampagne prüfen.

Was in die robots.txt einer Weiterleitungsdomain gehört

Eine kurze, vertretbare Position für einen reinen Weiterleitungs-Host.

Erlauben Sie die Live-Fetcher. Diese Anfragen existieren, weil jemand eine Frage gestellt hat, die Ihre Seite beantworten könnte, und sie zu blockieren entfernt Sie aus der Antwort, ohne Sie aus den Trainingsdaten zu entfernen, um die Sie sich Sorgen gemacht haben. Das ist die mit Abstand folgenreichste Zeile in der Datei.

Entscheiden Sie über Trainings-Crawler aus Prinzip statt aus Wirkung, denn eine Weiterleitungsdomain enthält nichts, worauf sich trainieren ließe. Wenn Ihre Organisation eine Haltung zum Modelltraining hat, wenden Sie sie hier der Konsistenz wegen an und erwarten Sie in beide Richtungen keine messbare Veränderung.

Lassen Sie Suchindexierer in Ruhe, sofern Sie keinen Grund haben. Sie folgen der Weiterleitung und schreiben das Ziel gut, und genau das wollen Sie.

Und denk daran, was robots.txt nicht tut. Es ist eine Bitte, keine Zugriffskontrolle, und es hat keinen Einfluss darauf, ob die Weiterleitung für eine Person funktioniert. Eine Disallow-Zeile bricht Ihre Links nicht; sie bittet einen konformen Agenten, sie nicht abzurufen. Alles, was robots.txt ignoriert, ist ein anderes Problem mit anderen Werkzeugen. Ein separater Vorschlag, llms.txt, wird im selben Atemzug genannt, aber er hat keinerlei Durchsetzung hinter sich, was llms.txt erklärt für sich behandelt.

Betreiben Sie Links über eine Domain, die Ihnen gehört und die Sie kontrollieren wollen? Elidos eigene Domains lassen Sie diesen Host bedienen - die Voraussetzung dafür, dass diese Regeln überhaupt greifen.

Vier Klassen automatisierter Agenten, was jede von einem Kurzlink will, und die Policy, die dazu passt

Nicht von sich aus. Ein Agent, der der Weiterleitung folgt, liest das Ziel und zitiert, was er dort gefunden hat, genau wie ein Suchcrawler.

Was Sie tatsächlich kostet, ist Reibung im Sprung. Eine Kette aus zwei oder drei Weiterleitungen vor dem Inhalt, eine Auflösung, die von JavaScript abhängt, eine langsame Antwort oder ein Ziel, das mit einem Interstitial antwortet. Jedes davon ist eine Gelegenheit, dass der Fetch abgebrochen wird, und ein abgebrochener Fetch ist eine Seite, die es nicht in die Antwort geschafft hat.

Die Regel, die ich einem Content-Team geben würde: Veröffentlichen Sie kanonische URLs direkt im Inhalt, wo ein Modell sie als Adresse der Sache liest, und nutzen Sie Kurzlinks für die Distribution, wo ein Mensch sie liest. So zeigt die Zitierung auf Ihre Seite, und das Tracking funktioniert trotzdem auf den Kanälen, wo Sie es brauchen. Agentic-Commerce-Links behandelt den Fall, in dem der Agent eine Transaktion durchführt statt zu lesen.

Den zurückkommenden Traffic messen

Ein Teil davon ist sichtbar. Assistenten, die einen Referrer senden, erscheinen als normale Referral-Zeile, und einer von ihnen hängt einen eigenen Kampagnenparameter an, weshalb chatgpt.com in Reports manchmal als Quelle auftaucht. Der Rest kommt als direkter Traffic an, weil eine Chat-Oberfläche nicht verpflichtet ist, sich zu identifizieren.

Es gibt eine zweite Richtung, die man davon trennen sollte: Traffic, den ein Assistent Ihnen schickt, gegenüber Links, die ein Assistent für Sie erstellt. Letzteres ist ein anderer Mechanismus mit einer anderen Fehlerart, und der Leitfaden zum ChatGPT-URL-Shortener behandelt es. Für Ersteres, eingegrenzt auf einen einzelnen Assistenten und seine drei Ankunftswege, siehe Traffic von ChatGPT verfolgen.

Behandeln Sie den sichtbaren Anteil als Untergrenze, nicht als Gesamtsumme. Wenn KI-Referrals wichtig genug sind, um darüber zu berichten, ist die ehrliche Version ein Richtungstrend aus den Quellen, die Sie sehen können, plus der Hinweis, dass die echte Zahl höher liegt. Wer einen präzisen KI-Referral-Prozentsatz präsentiert, präsentiert den Teil, den er messen konnte.

Die Cornerstone-Serie lesen

Dieser Beitrag gehört zum Engineering-Cluster. Kurzlinks als Terraform ist der Cornerstone für das Verwalten von Link-Infrastruktur als Code, und Answer Engine Optimization behandelt die Content-Seite des Zitiertwerdens.

Weitere Artikel im Blog

Häufig gestellte Fragen

Folgen KI-Crawler Kurzlinks?

Im Allgemeinen ja. Eine Weiterleitung ist eine gewöhnliche HTTP-Antwort, und wohlerzogene Agenten folgen ihr zum Ziel, wo der Inhalt liegt, wegen dem sie gekommen sind. Der Sprung erscheint in Ihren Logs als Anfrage auf der Kurzdomain, und das Ziel sieht den Besuch, der darauf folgt.

Deckt robots.txt auf meiner Hauptseite auch meine Kurzdomain ab?

Nein. Robots-Regeln gelten pro Host, daher sagt eine Datei unter example.com nichts über go.example.com aus. Eine Weiterleitungsdomain braucht ihre eigene robots.txt, ausgeliefert von dem, was Anfragen auf diesem Host beantwortet, sonst behandeln Agenten sie als uneingeschränkt.

Sollte ich KI-Crawler von meinen Kurzlinks blockieren?

Auf einer Weiterleitungsdomain gibt es nichts, das sich zum Trainieren lohnt, daher kostet Sie das Blockieren von Trainings-Crawlern wenig. Das Blockieren der nutzerausgelösten Fetcher ist eine andere Entscheidung: Diese Anfragen entstehen, weil eine Person einen Assistenten nach etwas gefragt hat, und ein blockierter Fetch bedeutet, dass Ihre Seite es nicht in die Antwort schafft.

Blähen KI-Bots meine Klickzahlen auf?

Sie blähen Rohzahlen auf. Jedes Tool, das ungefilterte Anfrage-Summen veröffentlicht, zeigt automatisierten Traffic vermischt mit echten Menschen, und öffentliche Links ziehen davon mehr an als private. Das Filtern bekannter Agenten vor dem Zählen ist die Lösung, und es lohnt sich zu prüfen, ob Ihr Kürzer das standardmäßig tut.

Kann ich Traffic sehen, der von einem KI-Assistenten kam?

Teilweise. Manche Assistenten senden einen Referrer, den Sie auslesen können, und manche hängen einen eigenen Kampagnenparameter an, sodass ein Teil des Traffics in den Analytics identifizierbar ist. Der Rest kommt als direkter Traffic an, weil eine Chat-Oberfläche nicht verpflichtet ist, Ihrer Seite mitzuteilen, woher der Besucher kam.

Schadet die Verwendung eines Kurzlinks meinen Chancen, zitiert zu werden?

Nicht wesentlich, solange die Weiterleitung schnell ist und zu einer Seite führt, die der Agent lesen kann. Was tatsächlich schadet, ist eine Kette von Sprüngen, ein Link, der JavaScript zur Auflösung braucht, oder ein Ziel, das langsam antwortet. Veröffentlichen Sie kanonische URLs direkt im Inhalt und nutzen Sie Kurzlinks für die Distribution.

Elido testen

URL einfügen, kurzer Link in Sekunden

Kein Konto nötig. Link bleibt 30 Tage aktiv. Konto erstellen, um ihn dauerhaft zu behalten.

Kostenloses Konto erforderlich. Der Free-Plan enthält insgesamt 25 Links. Du hast schon ein Konto? Anmelden

Elido testen

URL-Shortener mit EU-Hosting: eigene Domains, tiefe Analytik und eine offene API. Kostenloser Tarif - keine Kreditkarte nötig.

Tags
ai crawlers
gptbot
robots.txt
redirect
bot traffic
ai referral traffic

Weiterlesen