# Rendre un site lisible par les robots des assistants

Pour qu’un assistant comme ChatGPT, Claude ou Perplexity puisse lire et citer vos pages, il faut laisser entrer ses robots de recherche, vérifier qu’aucun pare-feu ne les bloque sans que vous l’ayez décidé, et servir le texte dans le HTML de la page, sans dépendre du JavaScript. Google, lui, ne demande rien de plus que pour son moteur.

Guide · Écrit par l’IA, relu par David Solito · Publiée le 7 novembre 2026 · 6 min de lecture

Un assistant ne peut citer que ce qu’il a pu lire. Avant de travailler les textes, il faut donc vérifier trois choses : les robots des assistants ont-ils le droit d’entrer, un réglage technique ne les arrête-t-il pas à la porte, et trouvent-ils le texte quand ils arrivent ? Ces vérifications prennent peu de temps. Elles évitent de chercher dans les contenus la cause d’une absence qui vient d’un fichier de configuration.

Pour Google, la réponse est simple. Une page peut apparaître dans les AI Overviews et le mode IA si elle est indexée et peut s’afficher avec un extrait dans la recherche : Google précise qu’il n’y a aucune exigence technique supplémentaire. [1](#source-1) Les autres assistants fonctionnent avec leurs propres robots, et c’est là que se trouvent la plupart des surprises.

## Trois familles de robots

Les éditeurs d’assistants utilisent plusieurs robots, chacun avec un rôle. Les confondre conduit à bloquer celui qu’on voulait laisser passer.

- Famille · Exemples · Rôle · Si vous le bloquez

- Entraînement · GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google) · collecter des pages pour entraîner les futurs modèles · vos pages ne servent plus à l’entraînement ; Google précise que Google-Extended n’a aucune incidence sur la recherche Google [6](#source-6)

- Recherche · OAI-SearchBot, Claude-SearchBot, PerplexityBot · constituer l’index dans lequel l’assistant cherche ses réponses · vos pages risquent de disparaître des réponses de cet assistant [3](#source-3) [4](#source-4) [5](#source-5)

- À la demande · ChatGPT-User, Claude-User, Perplexity-User · lire une page parce qu’un utilisateur l’a demandé · l’effet dépend de l’éditeur : OpenAI et Perplexity indiquent que robots.txt peut ne pas s’appliquer à ces visites [3](#source-3) [5](#source-5)

OpenAI décrit ses réglages comme indépendants : un site peut accepter OAI-SearchBot pour apparaître dans la recherche de ChatGPT et refuser GPTBot pour que ses pages ne servent pas à l’entraînement. [3](#source-3) Perplexity précise que PerplexityBot sert à afficher des sites dans ses résultats et n’est pas utilisé pour entraîner des modèles. [5](#source-5) Chez Anthropic, refuser Claude-SearchBot ou Claude-User peut réduire la visibilité d’un site dans les recherches faites avec Claude. [4](#source-4)

Chez Google, la distinction se fait autrement. Google-Extended règle l’usage de vos pages pour entraîner Gemini et pour certaines réponses des applications Gemini ; la recherche Google, y compris ses AI Overviews, reste gérée par Googlebot. [6](#source-6) Pour limiter ce que Google affiche de vos pages dans ses fonctionnalités d’IA, il faut utiliser les mêmes commandes que pour les extraits : nosnippet, data-nosnippet, max-snippet ou  noindex. [1](#source-1)

À retenir

Distinguer l’entraînement de la recherche

Refuser l’entraînement est un choix légitime, qui n’a pas d’effet sur la recherche Google. Refuser les robots de recherche d’un assistant revient en revanche à lui demander de ne pas vous citer. Décidez famille par famille, et notez la raison de chaque choix.

Les changements ne sont pas immédiats. OpenAI et Perplexity indiquent qu’il faut compter jusqu’à environ 24 heures pour qu’une modification de robots.txt soit prise en compte. [3](#source-3) [5](#source-5)

## Le blocage que personne n’a décidé

Le fichier robots.txt n’est pas le seul endroit où un robot peut être refusé. Un pare-feu applicatif (WAF, pour *web application firewall*) ou un service de protection contre les robots peut le bloquer avant même qu’il lise ce fichier.

Le cas le plus connu est celui de Cloudflare. Le 1er juillet 2025, l’entreprise a annoncé qu’elle bloquerait par défaut les robots d’IA connus, sauf accord ou paiement. [7](#source-7) The Verge précise que Cloudflare demande désormais aux propriétaires de nouveaux domaines s’ils veulent autoriser ces robots. [8](#source-8) Un site peut ainsi devenir invisible pour un assistant parce qu’une case a été cochée à l’ouverture du compte, des années plus tôt, par un prestataire qui ne s’occupe plus du site.

Perplexity consacre d’ailleurs une partie de sa documentation à la configuration des pare-feux, pour autoriser explicitement ses robots. [5](#source-5) Le contrôle à faire est donc double : lire le fichier robots.txt, puis vérifier les réglages du pare-feu et de l’hébergeur, famille par famille.

## Ce que trouvent les robots une fois entrés

Un robot qui entre sur une page lit le HTML que le serveur lui envoie. S’il n’exécute pas le JavaScript, il ne voit pas le texte que le navigateur ajoute ensuite.

En décembre 2024, Vercel et MERJ ont analysé le passage des robots d’IA sur le réseau de Vercel. Leurs résultats montraient qu’aucun des principaux robots d’IA n’exécutait le JavaScript à ce moment-là, notamment ceux d’OpenAI, d’Anthropic et de Perplexity ; Gemini, qui s’appuie sur l’infrastructure de Googlebot, faisait exception. [9](#source-9) Ces observations ont près de deux ans et les robots évoluent. La précaution reste simple : le texte principal, les titres, les prix et les coordonnées doivent figurer dans le HTML envoyé par le serveur.

Un test rapide permet de le vérifier. Ouvrez la page avec le JavaScript désactivé dans le navigateur, ou affichez son code source. Si le texte de votre offre n’y figure pas, un robot qui n’exécute pas le JavaScript ne le verra pas non plus.

## Ce qui n’est pas nécessaire

Plusieurs recommandations circulent sous le nom de GEO (*generative engine optimization*, l’optimisation pour les moteurs génératifs). Google en écarte plusieurs pour ses propres fonctionnalités d’IA. La note [L’étude GEO](/fr/memory/etude-geo/) examine ce que mesure l’étude souvent citée sous ce nom.

- **Les fichiers dédiés aux IA.** Google range la création de fichiers comme llms.txt parmi les tactiques que l’on peut ignorer pour ses fonctionnalités d’IA. [2](#source-2) La [fiche sur llms.txt](/fr/memory/llms-txt/) résume ce que l’on sait de son usage réel.

- **Le découpage artificiel des contenus.** Google cite aussi le « découpage » des textes en petits morceaux parmi les tactiques inutiles. [2](#source-2)

- **Un balisage spécial.** Les données structurées ne sont pas une obligation pour les réponses générées, et aucun balisage schema.org particulier n’est nécessaire. Google recommande toutefois de les garder dans la stratégie de référencement, car elles rendent une page éligible aux résultats enrichis. [2](#source-2)

Ces précisions valent pour Google. Les autres éditeurs publient moins sur ce qu’ils lisent. Les principes qui restent communs sont ceux d’une page lisible : un texte présent dans le HTML, une structure claire et des informations exactes.

## Contrôler son site

- Point à vérifier · Comment · Ce qui doit en ressortir

- robots.txt · lire le fichier à la racine du site · une décision explicite pour chaque famille de robots

- Pare-feu et hébergeur · ouvrir les réglages de protection contre les robots · aucun blocage des robots de recherche que vous n’ayez décidé

- Texte dans le HTML · afficher le code source ou désactiver le JavaScript · l’offre, les prix, les coordonnées et les réponses sont lisibles

- Commandes d’aperçu · rechercher nosnippet et noindex dans les pages · aucune page importante exclue par erreur

- Données structurées · tester les pages principales · un balisage conforme au contenu visible

Une fois ces points réglés, la suite se lit dans les rapports. Bing Webmaster Tools montre quelles pages sont citées dans les réponses de Copilot, et Search Console leurs affichages dans les fonctionnalités d’IA de Google. La note sur [ce que mesurent les rapports sur l’IA](/fr/memory/rapports-ia/) les détaille.

## Ce qu’il faut retenir

Un site lisible par les assistants n’a pas besoin d’un dispositif spécial. Il a besoin de décisions explicites sur les robots, d’un pare-feu qui ne contredit pas ces décisions, et d’un texte servi dans le HTML. C’est le premier contrôle à faire quand une entreprise est absente des réponses, avant de travailler ses contenus ou sa [visibilité dans les assistants](/fr/memory/visibilite-de-marque-dans-les-assistants/).

Pour relier ce socle technique au reste du référencement, découvrez notre accompagnement en [SEO & GEO](/fr/agence-seo-geo/).

Sources consultées le 13 octobre 2026.