llms.txt vs robots.txt, sitemap.xml et llms-full.txt

TL;DR

Ils ne sont pas interchangeables. robots.txt publie des règles que les crawlers conformes peuvent appliquer. sitemap.xml dit aux moteurs ce qui existe. llms.txt propose aux clients compatibles une carte curée. llms-full.txt leur fournit le contenu lui-même.

Matrice côte à côte

llms.txt vs robots.txt

robots.txt est un fichier d'instructions de crawl standardisé dans IETF RFC 9309. Il utilise la grammaire REP (User-agent, Disallow, Allow, Sitemap) pour exprimer les chemins que les crawlers conformes devraient ou non récupérer. Il ne sécurise aucun accès et ne remplace pas une autorisation.

llms.txt a l'intention inverse : une liste positive de recommandation. Il ne bloque personne, n'accorde aucun accès, et n'a aucun effet sur le crawl du reste du site. Il dit juste : si vous êtes un client LLM, voici le sous-ensemble de qualité.

Implication pratique : utilisez robots.txt pour les préférences de crawl et la découverte du sitemap. Utilisez une authentification ou un contrôle réseau pour restreindre réellement l'accès. Ajoutez llms.txt en complément seulement si son audience et son objectif sont définis.

llms.txt vs sitemap.xml

sitemap.xml vise la complétude : il liste chaque URL que vous voulez faire connaître à un moteur, avec ses métadonnées (lastmod, priority, langues alternatives). Il est en XML, destiné aux machines, souvent auto-généré.

llms.txt vise la curation : une petite liste Markdown des pages qu'un LLM doit lire en priorité. Il ne remplace pas votre sitemap. Il contient rarement plus de quelques dizaines d'URLs, alors qu'un sitemap sur un site rich content peut en lister des centaines de milliers.

Imaginez sitemap.xml comme un répertoire, et llms.txt comme une étagère curée par un bibliothécaire.

llms.txt vs llms-full.txt

Même famille, rôle différent :

• llms.txt est la carte : une liste de liens titrés.
• llms-full.txt est le territoire : le contenu réel de ces pages (et d'autres), concaténé en Markdown dans un seul fichier.

La convention llms-full.txt a été popularisée par Mintlify en collaboration avec Anthropic. Elle peut fournir à un développeur ou un outil une URL unique pour un corpus documentaire consolidé. Ce confort doit être comparé aux risques de fraîcheur, de taille et d'injection de prompt.

Publiez llms.txt lorsqu'une carte curée répond à une tâche réelle. Ajoutez llms-full.txt seulement si l'ingestion textuelle en masse est un besoin explicite.

llms.txt vs schema.org / JSON-LD

Schema.org est un vocabulaire pour marquer la sémantique de pages individuelles en JSON-LD ou microdata. Les moteurs et d'autres logiciels l'utilisent pour extraire des faits structurés : prix d'un produit, ingrédients d'une recette, questions et réponses d'une FAQ.

llms.txt opère un niveau au-dessus : c'est une carte de site, pas un enrichissement de page. Les deux sont complémentaires. Schema.org dit à un LLM ce qu'une page est ; llms.txt lui dit quelles pages regarder en premier.

Comment les combiner

1. Publiez les deux : robots.txt et sitemap.xml comme vous le faites déjà pour le SEO.
2. Ajoutez un llms.txt racine ou ciblé pour un client compatible défini.
3. Optionnellement ajoutez llms-full.txt si votre site est orienté documentation ou savoir.
4. Dans robots.txt, laissez /llms.txt et /llms-full.txt accessibles (pas de Disallow).
5. Gardez schema.org sur les pages où ça a du sens (Product, FAQ, Article…).

Continuer

• Comment llms.txt fonctionne, la spec en détail.
• Bonnes pratiques.
• FAQ.