9 Min. LesezeitKI

llms.txt erklärt: Was die KI-Crawler-Datei wirklich tut

llms.txt ist eine Markdown-Datei, die Seiten für KI-Modelle auflistet. Was sie wirklich tut, wer sie heute beachtet und ob sich die Veröffentlichung lohnt.

Marius Voß
DevRel · edge infra

llms.txt ist eine Markdown-Datei, die Sie auf der Root-Ebene Ihrer Domain veröffentlichen - ihredomain.com/llms.txt -, die die Seiten auflistet, die ein KI-Modell am ehesten lesen soll, jeweils mit einer einzeiligen Beschreibung. Jeremy Howard von Answer.AI schlug den llms.txt-Standard im September 2024 vor, und die aktuelle Spezifikation liegt unter llmstxt.org. Das ist die ganze Idee: eine kuratierte Leseliste, kein Regelwerk.

Das ist der Teil, den die meisten Erklärungen auslassen. Es wird nichts gewährt und nichts blockiert, und kein großer Modell-Anbieter - weder OpenAI noch Anthropic noch Google - hat sich öffentlich dazu verpflichtet, llms.txt vor der Beantwortung einer Frage abzurufen. Ein paar Entwickler-Tools lesen sie tatsächlich. Fast nichts sonst tut das. Wenn Sie hierhergekommen sind, weil Sie wissen wollten, ob GPTBot oder ClaudeBot Ihren Weiterleitungen folgen, ist das eine andere Frage - siehe was KI-Crawler mit einem Link tatsächlich tun. Dieser Beitrag handelt von der llms.txt-Datei selbst: was wirklich drinsteht, wer sie liest, was ihre Pflege kostet und ob sich das Veröffentlichen 2026 einen Nachmittag lang lohnt.

Was llms.txt genau ist

Die Spezifikation ist kurz genug, um sie in zwei Minuten zu lesen. Eine gültige Datei braucht genau ein Pflichtelement: eine H1 mit dem Namen Ihrer Website oder Ihres Projekts. Alles danach ist optional, aber konventionell. Ein Blockquote direkt unter der H1 liefert eine Ein-Satz-Zusammenfassung. Freie Absätze können Kontext hinzufügen. Dann kommen H2-Überschriften, jede mit einer Aufzählung von Links, und jeder Link kann einen Doppelpunkt plus eine kurze Notiz tragen, was er enthält. Ein Abschnitt mit dem Titel "Optional" auf H2-Ebene ist eine Konvention für sekundäres Material, das ein Modell überspringen kann, wenn es mit begrenztem Kontext arbeitet.

Das Format wurde für ein ganz bestimmtes Problem gebaut: Eine Dokumentationsseite besteht größtenteils aus Navigations-Chrome und Sidebar-Links, und ein Modell, das das rohe HTML liest, verbrennt Tokens auf all das. Eine llms.txt-Datei gibt ihm stattdessen einen sauberen Index. Das ist eine engere Aufgabe, als die meiste Berichterstattung suggeriert: Das Format wurde für Docs entworfen, nicht für das offene Web. Stellen Sie es echter Answer-Engine-Optimization-Arbeit gegenüber, und dieser Unterschied ist der Großteil der Antwort.

llms.txt ist nicht robots.txt

Der Vergleich, zu dem jeder greift, ist robots.txt, und der Vergleich führt mehr in die Irre, als er hilft.

robots.txt ist durch RFC 9309 auf einen einzelnen Host begrenzt, und es funktioniert, weil namentlich genannte Crawler - Googlebot, Bingbot, darunter auch die KI-Crawler - vor jedem Abruf danach suchen und eine Disallow-Zeile aus jahrzehntealter Konvention beachten. Es hat auch nie Zugriff gewährt - ein Agent, der es ignoriert, hätte es ohnehin immer ignoriert -, aber die Crawler, um die man sich Sorgen machen sollte, lesen es tatsächlich.

Diese Absicherung existiert bei llms.txt nicht. Nichts sagt einem Modell, vor der Beantwortung einer Frage zu Ihrer Website nach /llms.txt zu suchen. Eine Handvoll Entwickler-Tools prüft tatsächlich danach. Ein universeller Assistent, der eine Frage in einem Chat-Fenster beantwortet, hat keine Verpflichtung, nach Ihrer Datei zu suchen, und die meisten machen sich nicht die Mühe. Sie "die KI-Crawler-Datei" oder "das robots.txt für KI" zu nennen - beide Bezeichnungen tauchen in fast jeder Erklärung auf - suggeriert einen Durchsetzungsmechanismus, den das Format schlicht nicht hat. Hatte es nie.

robots.txt als durchgesetzte Regel, die namentlich genannte Crawler seit Jahrzehnten beachten, neben llms.txt als unverbindliche Leseliste, die standardmäßig von niemandem beachtet wird

Wer die Datei tatsächlich liest

Die Verbreitung ist real. Sie ist nur enger, als die Berichterstattung suggeriert.

Mintlify fügte Ende 2024 automatische llms.txt-Generierung für jede Seite hinzu, die es hostet, und die Verbreitung schoss über Nacht in die Höhe, weil Anthropic, Cursor, Stripe, Cloudflare und Vercel ihre Docs alle über Plattformen wie Mintlify, Fern oder GitBook veröffentlichen, die die Datei inzwischen standardmäßig generieren. Coding-Tools - Cursor, Windsurf, Claude Code, GitHub Copilot, Cline, Aider - suchen tatsächlich nach /llms.txt, wenn sie auf eine Dokumentationsseite verweisen, weil ein sauberer Index für genau diese Aufgabe besser ist als das Scrapen gerenderter Navigation.

Was nicht passiert ist, ist der Teil, den die meisten Beiträge unterstellen. Kein universeller Verbraucher-Assistent hat bestätigt, dass er die Datei vor der Beantwortung einer Frage prüft, und die Leute, die der Suche am nächsten stehen, sind da unverblümt. Googles John Mueller sagte es unumwunden: Keiner der KI-Dienste hat gesagt, dass er sie nutzt, und Server-Logs zeigen, dass die meisten sie nicht einmal anfordern. Er verglich sie mit dem Keywords-Meta-Tag - einem Feld, das Publisher einst gewissenhaft ausfüllten, bis Suchmaschinen es stillschweigend nicht mehr lasen, weil es trivial auszutricksen war.

Also: ein echtes Publikum aus Coding-Tools und Docs-Plattformen, kein bestätigtes Publikum unter ChatGPT, Gemini oder Perplexity, wenn sie eine Shopping- oder Recherchefrage beantworten. Wenn Ihnen KI-Traffic auf Ihre Website wichtig genug ist, um danach zu handeln, leiten Sie ihn nicht aus einer Datei ab, von der niemand bestätigt hat, dass er sie liest - messen Sie ihn. GA4s KI-Assistent-Kanal ist der Ort, an dem dieser Traffic tatsächlich auftaucht, an den Tagen, an denen er überhaupt auftaucht, und Elidos Analytics schlüsseln Klicks auf die Links, die Sie selbst veröffentlichen, nach Referrer auf, sodass ein Besuch von einem Assistenten unter seinem Namen erscheint, sobald der Browser den Referrer mitgibt.

Wie die Datei aussieht, Zeile für Zeile

Hier ist ein minimales, gültiges Beispiel, nah am Muster aus der Spezifikation:

# Acme Docs

> Acme is an API for parsing invoices. This file lists the pages worth reading first.

Full documentation lives at docs.example.com. Sections below are ordered by how often a new integration needs them.

- [Quickstart](https://docs.example.com/quickstart): Authentication and your first API call
- [Rate limits](https://docs.example.com/limits): Current limits and how to request an increase
- [Endpoints](https://docs.example.com/api): Full request and response schemas

Jede Zeile erfüllt eine Aufgabe. Die H1 ist Pflicht; wer den Blockquote weglässt, lässt ein Modell raten, was die Website tut, bevor es auch nur einen einzigen Link öffnet. Eine echte Datei gruppiert Links unter H2s nach Zweck, nicht nach Seiten-Navigation, was meist das Gegenteil davon ist, wie ein Hauptmenü organisiert ist (das gekürzte Beispiel oben nutzt eine Gruppe, um es kurz zu halten). Der Doppelpunkt mit Beschreibung nach einem Link ist der eigentliche Wert - der Ein-Satz-Pitch, der entscheidet, ob ein Modell mit begrenztem Platz diese URL abruft oder überspringt. Die Spezifikation erlaubt außerdem eine H2 mit dem Titel "Optional" für genau dasselbe sekundäre Material.

llms-full.txt ist ein anderes Tier

Ein Index ist das, was llms.txt ist. llms-full.txt bettet den Inhalt selbst ein: dieselben Seiten, umgewandelt in sauberes Markdown und zu einer Datei zusammengefügt, manchmal mit zehntausenden Wörtern, sodass ein Modell sie in einem einzigen Abruf aufnehmen kann, statt Links einzeln zu folgen. Plattformen, die llms.txt automatisch generieren - Mintlify, GitBook, Fern - generieren meist llms-full.txt gleich mit, da die Pipeline in beiden Fällen dieselbe ist. Bei einer Docs-Seite unter ein paar hundert Seiten ist es vertretbar, sie aktuell zu halten. Ein Produktkatalog mit tausenden Seiten ist zu groß, um nützlich zu sein, und zu teuer, um ihn aktuell zu halten.

Die ehrlichen Kosten der Pflege

Die Datei einmal zu veröffentlichen ist ein Nachmittag. Sie ehrlich zu halten ist der Teil, für den niemand Zeit einplant.

Jeder Link muss weiterhin auflösen, weiterhin auf die aktuelle Version dieser Seite zeigen und weiterhin dem entsprechen, was dort tatsächlich steht. Benennen Sie ein Dokument um oder ship eine neue API-Version, und die Datei driftet still aus dem Takt, weil dabei nichts sichtbar kaputtgeht. Ein veraltetes llms.txt liefert keinen 404 - es füttert ein Modell einfach mit veralteten Informationen und völliger Zuversicht.

Für eine Docs-Seite mit einem Team ist diese Pflege ein Checklistenpunkt im selben Review, der auch Doc-Änderungen ausliefert. Für eine Marketing-Seite, die mehrmals pro Woche Beiträge veröffentlicht, wird die Entscheidung, was in einen kuratierten Index gehört, zu einer eigenen redaktionellen Aufgabe. Stellen Sie die Frage, die Sie vor jeder anderen Content-Investition stellen würden: Wie sieht Erfolg aus, und woran würden Sie ihn erkennen? Was sich in der Link-Analyse wirklich zu messen lohnt wendet dieselbe Disziplin auf einen anderen Kanal an.

Was Sie heute tatsächlich zitierfähig macht

Legen Sie die Datei zur Seite und schauen Sie sich an, was die Belege tatsächlich stützen.

robots.txt-Direktiven funktionieren, weil namentlich genannte Crawler vor jedem Abruf danach suchen - OpenAI, Anthropic und Google veröffentlichen alle, welche User-Agents welche Regeln beachten, und die Mechanik dahinter wird hier behandelt, statt sie in diesem Beitrag zu wiederholen. Sauberes, schnelles, JavaScript-freies HTML wird vollständig statt teilweise gelesen; eine Seite, die ein Client-seitiges Rendern braucht, um ihren Inhalt zu zeigen, kann abgebrochen werden, bevor Ihr Text überhaupt lädt, weshalb auch Weiterleitungs-Hygiene beeinflusst, wie eine Seite behandelt wird, egal ob der Leser ein Mensch oder ein Modell ist. Strukturierte Daten - Article- und FAQPage-Schema, das zum sichtbaren Text passt - geben einem Retrieval-System eine Abkürzung zu dem, was die Seite behauptet, und Googles eigene Richtlinien behandeln das als gewöhnliches technisches SEO, nicht als KI-spezifischen Trick. Anderswo erwähnt zu werden - in Reviews, Foren, den Roundups anderer Leute - korreliert stärker mit dem Zitiertwerden als fast alles auf der eigenen Domain, weil das Modell eine über das ganze Web aufgebaute Reputation gewichtet, nicht nur eine Seite.

Ein verwandter Fehler gehört auf dieselbe Liste, weil er aus demselben Missverständnis entspringt, was ein Modell tut. Einen Assistenten zu bitten, eine URL zu erzeugen, heißt, einen Textvorhersager nach einem Datenbankfakt zu fragen, und er liefert bereitwillig etwas Plausibles; der Leitfaden zum ChatGPT-URL-Shortener erklärt, warum und was ein Tool-Aufruf behebt.

Nichts davon ist neuer Rat, der für einen KI-Moment aufgehübscht wurde. Es ist dieselbe Liste, die Sie jemandem für klassische Suche in die Hand geben würden, nur ausgerichtet auf ein Retrieval-System statt auf einen Ranking-Algorithmus. llms.txt taucht darin nirgends auf, und genau deshalb begann dieser Beitrag mit einer Warnung statt mit einem Tutorial.

Vier Zitier-Signale, nach Beleglage geordnet: robots.txt-Direktiven, sauberes crawlbares HTML, passende strukturierte Daten und Erwähnungen außerhalb der eigenen Seite, jeweils mit der zu ergreifenden Maßnahme

Das Urteil: Sollten Sie 2026 eine veröffentlichen

Sollten Sie also eine veröffentlichen? Das hängt davon ab, auf welcher Seite davon Sie stehen.

Wenn Ihre Docs bereits auf einer Plattform liegen, die llms.txt kostenlos generiert, spricht kaum etwas dagegen. Das Publikum, das sie liest - Coding-Assistenten, IDE-Agenten, die Handvoll dokumentationsbewusster Tools, die eigens dafür gebaut wurden, nach der Datei zu suchen - ist genau das Publikum, das sich ein Developer-Produkt wünscht, und die Kosten liegen nahe null, weil die Pipeline von jemand anderem sie ohnehin schon erzeugt.

Wenn Sie eine Marketing-Seite, einen Blog oder irgendetwas betreiben, das ein Shopper über einen universellen Assistenten erreicht, würde ich davon absehen, sie von Hand zu bauen. Die Pflege ist real, die Leserschaft unter den Assistenten, die Ihnen tatsächlich Traffic schicken, ist unbestätigt, und eine Stunde, die Sie in die Kuratierung einer Datei stecken, von der niemand nachgewiesen hat, dass sie gelesen wird, ist eine Stunde, die nicht in Dinge mit einer echten Nachweiskette fließt: crawlbare Seiten, strukturierte Daten, die zu Ihrem Inhalt passen, eine Reputation, die daraus entsteht, anderswo zitiert zu werden. Veröffentlichen Sie die Datei, wenn sie kostenlos ist. Bauen Sie keine Content-Strategie darum herum.

Ungefähr dort landet auch der ai-Cluster dieses Blogs immer wieder: zwei Minuten Aufmerksamkeit, null Minuten Sorge.

Weitere Artikel im Blog

Häufig gestellte Fragen

Was ist llms.txt?

llms.txt ist eine einfache Markdown-Datei, die auf der Root-Ebene einer Website veröffentlicht wird - ihredomain.com/llms.txt -, die die Seiten auflistet, die der Seitenbetreiber für ein KI-Modell am nützlichsten hält, jeweils mit einer kurzen Beschreibung. Jeremy Howard von Answer.AI schlug den llms.txt-Standard im September 2024 vor, und die aktuelle Spezifikation liegt unter llmstxt.org. Sie kuratiert; sie schränkt nichts ein und gewährt keinen Zugriff.

Ist llms.txt dasselbe wie robots.txt?

Nein. robots.txt ist eine Zugriffskontroll-Konvention, die namentlich genannte Crawler prüfen, bevor sie eine Seite abrufen, definiert durch RFC 9309 und durch jahrzehntelange Praxis anerkannt. llms.txt ist eine unverbindliche Leseliste ohne Durchsetzungsmechanismus dahinter - nichts verpflichtet ein Modell, danach zu suchen, und die meisten tun es nicht.

Lesen KI-Modelle wie ChatGPT oder Claude llms.txt tatsächlich?

Größtenteils noch nicht. Coding-Tools und IDE-Agenten wie Cursor, Windsurf und GitHub Copilot suchen tatsächlich nach der Datei, wenn sie auf eine Dokumentationsseite verweisen, und Plattformen wie Mintlify generieren sie automatisch für die Docs, die sie hosten. Kein universeller Verbraucher-Assistent hat bestätigt, dass er die Datei prüft, bevor er eine Frage beantwortet.

Was ist der Unterschied zwischen llms.txt und llms-full.txt?

llms.txt ist ein kurzer Index von Links mit einzeiligen Beschreibungen, der einem Modell die nützlichsten Seiten einer Website zeigen soll. llms-full.txt ist eine deutlich größere Datei, die den tatsächlichen Seiteninhalt als sauberes Markdown einbettet, zusammengefügt zu einem Dokument, das ein Modell in einem einzigen Abruf aufnehmen kann. Plattformen, die eine Datei generieren, generieren typischerweise beide, da die zugrunde liegende Pipeline dieselbe ist.

Hilft llms.txt bei SEO oder dabei, von KI-Suche zitiert zu werden?

Es gibt keine Belege dafür, und Googles John Mueller hat sie direkt mit dem Keywords-Meta-Tag verglichen: ein Feld, das außer dem Publisher selbst fast niemand je geprüft hat. Was tatsächlich Belege hat, sind Answer-first-Inhalte, strukturierte Daten, die zur Seite passen, sauberes, crawlbares HTML und Erwähnungen auf anderen Websites - keines davon erfordert überhaupt eine llms.txt-Datei.

Sollte ich meiner Website 2026 eine llms.txt-Datei hinzufügen?

Wenn Ihre Dokumentationsplattform ohnehin schon eine generiert, gibt es keinen wirklichen Grund, sie nicht zu behalten. Wenn Sie sie für eine Marketing-Seite oder einen Blog selbst von Hand kuratieren und pflegen müssten, lautet die ehrliche Antwort: Eine bestätigte Leserschaft rechtfertigt den laufenden Aufwand derzeit nicht, also investieren Sie diese Zeit zuerst in Crawlbarkeit und Content-Qualität.

Elido testen

URL einfügen, kurzer Link in Sekunden

Kein Konto nötig. Link bleibt 30 Tage aktiv. Konto erstellen, um ihn dauerhaft zu behalten.

Kostenloses Konto erforderlich. Der Free-Plan enthält insgesamt 25 Links. Du hast schon ein Konto? Anmelden

Elido testen

URL-Shortener mit EU-Hosting: eigene Domains, tiefe Analytik und eine offene API. Kostenloser Tarif - keine Kreditkarte nötig.

Tags
llms.txt
llms.txt file
llms-full.txt
ai crawler file
llms.txt standard
robots.txt

Weiterlesen