llms.txt-Verbreitung: wer setzt sie ein?

Überblick

Seit Jeremy Howard llms.txt im September 2024 bei Answer.AI vorgeschlagen hat, ist aus einer Handvoll früher Experimente eine Konvention geworden, die viele der bekanntesten Unternehmen mit Entwicklerpublikum ausliefern. Beschleunigt hat sich das 2025, als Plattformen für Dokumentations-Hosting die automatische Generierung ergänzten.

Das deutlichste Erfolgssignal für ein Format ist, wenn die Infrastruktur es übernimmt: Eine Plattform bedient Tausende Sites auf einmal, ohne dass einzelne Teams etwas tun müssen.

Gemessene Verbreitung (unser Tracker)

Behauptungen wie „Zehntausende Sites nutzen llms.txt“ kursieren ohne Quelle. Also messen wir selbst: ein festes Panel aus 219 bekannten Hosts über acht Branchen, jede Woche von einem automatischen Checker abgerufen und geparst. Letzter Lauf: 2026-08-03.

Methodik

Das Panel ist eine feste, kuratierte Liste von 219 Hosts (veröffentlicht unter /adoption-panel.json); die Zusammensetzung ändert sich zwischen zwei Läufen nur durch eine dokumentierte Ergänzung. Für jeden Host fragt der Checker https://<host>/llms.txt ab, folgt Weiterleitungen und wertet den Host nur dann als ausliefernd, wenn die Antwort HTTP 200 ist, aus Klartext besteht (keine HTML-App-Hülle) und mit einem gültigen Markdown-H1 beginnt. Nicht erreichbare Hosts (1 im letzten Lauf) fallen aus der Basis heraus. Rohdaten: /adoption-stats.json. Die 113 positiven Einträge stehen im verifizierten Verzeichnis.

Grenzen: Das Panel neigt zu Unternehmen mit Entwicklerpublikum (dort konzentriert sich die Verbreitung, und dort nützt die Datei am meisten). Die Kennzahl ist deshalb keine Aussage über das gesamte Web, sondern über eine verfolgte Kohorte, vergleichbar von Lauf zu Lauf.

Dokumentationsplattformen

Die grössten Verstärker der Verbreitung sind Plattformen für Dokumentations-Hosting, die die Datei für jedes Projekt automatisch erzeugen:

• Mintlify, eine der ersten grossen Plattformen mit automatischer llms.txt-Generierung. Tausende API-Dokumentationen auf Mintlify liefern llms.txt und llms-full.txt ohne jede Konfiguration aus.
• GitBook, ergänzte die automatische Generierung 2025. GitBook hostet die Dokumentation hunderter Tech-Unternehmen, die die Datei nun alle automatisch ausliefern.
• Read the Docs, die weit verbreitete Open-Source-Plattform für Dokumentations-Hosting unterstützt llms.txt und deckt damit einen grossen Teil des Python-Ökosystems ab.
• Docusaurus (Meta), ein verbreitetes Plugin erzeugt llms.txt für Docusaurus-Sites. Viele der grössten Open-Source-Dokumentationen (React, Babel, Jest …) setzen auf Docusaurus.
• VitePress / VuePress, Community-Plugins ergänzen die llms.txt-Generierung für diese statischen Generatoren, die im Vue.js-Ökosystem verbreitet sind.

Unternehmen und Projekte

Bemerkenswerte frühe Anwender aus Developer-Tooling, KI und Infrastruktur:

• Anthropic, anthropic.com/llms.txt und docs.anthropic.com/llms.txt bieten strukturierten Zugang zur Claude-Dokumentation.
• Cloudflare, Entwicklerdokumentation unter developers.cloudflare.com/llms.txt mit vollständigem Index zu Workers, Pages und AI Gateway.
• Vercel, vercel.com/docs/llms.txt liefert einen Index der Plattformdokumentation für KI-Coding-Assistenten.
• Supabase, supabase.com/docs/llms.txt mit Datenbank, Auth, Storage und Edge Functions.
• PlanetScale, Neon, Turso, Database-as-a-Service-Anbieter mit KI-Publikum haben früh übernommen.
• FastAPI, Pydantic, Ruff, führende Projekte des Python-Ökosystems liefern llms.txt aus, damit KI-Assistenten ihre APIs besser verstehen.
• Tailwind CSS, tailwindcss.com/llms.txt hilft KI-Coding-Assistenten bei korrekten Klassenvorschlägen.

KI-Tools, die sie lesen

Über die Sites hinaus, die llms.txt veröffentlichen, lesen diese Tools sie aktiv:

• Cursor, der KI-Code-Editor ruft llms.txt ab, sobald Sie eine URL als Projektkontext hinzufügen. Das ist der wichtigste Treiber der Bekanntheit des Formats unter Entwicklerinnen und Entwicklern.
• Perplexity, hat die Unterstützung offiziell angekündigt; PerplexityBot liest llms.txt, um die Indexierung zu priorisieren.
• LlamaIndex, eingebauter LlmsTxtReader, der die Datei parst und die verlinkten Seiten für einen Vektorindex abruft.
• LangChain, Community-Integration LlmsTxtLoader für RAG-Pipelines aus jeder Site mit llms.txt.
• Firecrawl, nutzt llms.txt, um Crawls zu steuern und verlinkte Seiten beim Aufbau von Wissensdatenbanken zu priorisieren.
• Cline, Aider, Continue.dev, quelloffene KI-Coding-Tools mit URL-Kontext profitieren alle davon.

Warum die Verbreitung zunimmt

Drei Faktoren treiben das:

1. Plattform-Multiplikatoren: Liefert eine Doku-Plattform automatische Generierung aus, übernehmen Tausende Sites das Format über Nacht, ohne Aufwand.
2. Nachfrage aus KI-Coding-Assistenten: Nutzerinnen und Nutzer von Cursor, Copilot und Cline fordern llms.txt aktiv von den Bibliotheken ein. Maintainer reagieren auf echte Nachfrage.
3. Kein Aufwand, sofortiger Nutzen: eine statische Textdatei ohne Infrastrukturbedarf, mit messbarem Nutzen für Anwender von KI-Tools, ist für die meisten entwicklerorientierten Projekte ein einfaches Ja.

Ob eine Site eine llms.txt hat, sehen Sie über https://<domain>/llms.txt oder indem Sie die Datei durch den Validator schicken.

Verwandte Seiten

• Beispiele aus der Praxis, das verifizierte Verzeichnis.
• llms.txt erstellen, in wenigen Minuten auf Ihrer Site.
• Validator · Generator.