Rendre un site lisible par les robots des assistants

Un assistant ne peut citer que ce qu’il a pu lire. Avant de travailler les textes, il faut donc vérifier trois choses : les robots des assistants ont-ils le droit d’entrer, un réglage technique ne les arrête-t-il pas à la porte, et trouvent-ils le texte quand ils arrivent ? Ces vérifications prennent peu de temps. Elles évitent de chercher dans les contenus la cause d’une absence qui vient d’un fichier de configuration.

Pour Google, la réponse est simple. Une page peut apparaître dans les AI Overviews et le mode IA si elle est indexée et peut s’afficher avec un extrait dans la recherche : Google précise qu’il n’y a aucune exigence technique supplémentaire.¹ Les autres assistants fonctionnent avec leurs propres robots, et c’est là que se trouvent la plupart des surprises.

01Trois familles de robots

Les éditeurs d’assistants utilisent plusieurs robots, chacun avec un rôle. Les confondre conduit à bloquer celui qu’on voulait laisser passer.

OpenAI décrit ses réglages comme indépendants : un site peut accepter OAI-SearchBot pour apparaître dans la recherche de ChatGPT et refuser GPTBot pour que ses pages ne servent pas à l’entraînement.³ Perplexity précise que PerplexityBot sert à afficher des sites dans ses résultats et n’est pas utilisé pour entraîner des modèles.⁵ Chez Anthropic, refuser Claude-SearchBot ou Claude-User peut réduire la visibilité d’un site dans les recherches faites avec Claude.⁴

Chez Google, la distinction se fait autrement. Google-Extended règle l’usage de vos pages pour entraîner Gemini et pour certaines réponses des applications Gemini ; la recherche Google, y compris ses AI Overviews, reste gérée par Googlebot.⁶ Pour limiter ce que Google affiche de vos pages dans ses fonctionnalités d’IA, il faut utiliser les mêmes commandes que pour les extraits : nosnippet, data-nosnippet, max-snippet ou noindex.¹

Les changements ne sont pas immédiats. OpenAI et Perplexity indiquent qu’il faut compter jusqu’à environ 24 heures pour qu’une modification de robots.txt soit prise en compte.³⁵

02Le blocage que personne n’a décidé

Le fichier robots.txt n’est pas le seul endroit où un robot peut être refusé. Un pare-feu applicatif (WAF, pour web application firewall) ou un service de protection contre les robots peut le bloquer avant même qu’il lise ce fichier.

Le cas le plus connu est celui de Cloudflare. Le 1er juillet 2025, l’entreprise a annoncé qu’elle bloquerait par défaut les robots d’IA connus, sauf accord ou paiement.⁷ The Verge précise que Cloudflare demande désormais aux propriétaires de nouveaux domaines s’ils veulent autoriser ces robots.⁸ Un site peut ainsi devenir invisible pour un assistant parce qu’une case a été cochée à l’ouverture du compte, des années plus tôt, par un prestataire qui ne s’occupe plus du site.

Perplexity consacre d’ailleurs une partie de sa documentation à la configuration des pare-feux, pour autoriser explicitement ses robots.⁵ Le contrôle à faire est donc double : lire le fichier robots.txt, puis vérifier les réglages du pare-feu et de l’hébergeur, famille par famille.

03Ce que trouvent les robots une fois entrés

Un robot qui entre sur une page lit le HTML que le serveur lui envoie. S’il n’exécute pas le JavaScript, il ne voit pas le texte que le navigateur ajoute ensuite.

En décembre 2024, Vercel et MERJ ont analysé le passage des robots d’IA sur le réseau de Vercel. Leurs résultats montraient qu’aucun des principaux robots d’IA n’exécutait le JavaScript à ce moment-là, notamment ceux d’OpenAI, d’Anthropic et de Perplexity ; Gemini, qui s’appuie sur l’infrastructure de Googlebot, faisait exception.⁹ Ces observations ont près de deux ans et les robots évoluent. La précaution reste simple : le texte principal, les titres, les prix et les coordonnées doivent figurer dans le HTML envoyé par le serveur.

Un test rapide permet de le vérifier. Ouvrez la page avec le JavaScript désactivé dans le navigateur, ou affichez son code source. Si le texte de votre offre n’y figure pas, un robot qui n’exécute pas le JavaScript ne le verra pas non plus.

04Ce qui n’est pas nécessaire

Plusieurs recommandations circulent sous le nom de GEO (generative engine optimization, l’optimisation pour les moteurs génératifs). Google en écarte plusieurs pour ses propres fonctionnalités d’IA. La note L’étude GEO examine ce que mesure l’étude souvent citée sous ce nom.

• Les fichiers dédiés aux IA. Google range la création de fichiers comme llms.txt parmi les tactiques que l’on peut ignorer pour ses fonctionnalités d’IA.² La fiche sur llms.txt résume ce que l’on sait de son usage réel.
• Le découpage artificiel des contenus. Google cite aussi le « découpage » des textes en petits morceaux parmi les tactiques inutiles.²
• Un balisage spécial. Les données structurées ne sont pas une obligation pour les réponses générées, et aucun balisage schema.org particulier n’est nécessaire. Google recommande toutefois de les garder dans la stratégie de référencement, car elles rendent une page éligible aux résultats enrichis.²

Ces précisions valent pour Google. Les autres éditeurs publient moins sur ce qu’ils lisent. Les principes qui restent communs sont ceux d’une page lisible : un texte présent dans le HTML, une structure claire et des informations exactes.

05Contrôler son site

Une fois ces points réglés, la suite se lit dans les rapports. Bing Webmaster Tools montre quelles pages sont citées dans les réponses de Copilot, et Search Console leurs affichages dans les fonctionnalités d’IA de Google. La note sur ce que mesurent les rapports sur l’IA les détaille.

06Ce qu’il faut retenir

Un site lisible par les assistants n’a pas besoin d’un dispositif spécial. Il a besoin de décisions explicites sur les robots, d’un pare-feu qui ne contredit pas ces décisions, et d’un texte servi dans le HTML. C’est le premier contrôle à faire quand une entreprise est absente des réponses, avant de travailler ses contenus ou sa visibilité dans les assistants.

Pour relier ce socle technique au reste du référencement, découvrez notre accompagnement en SEO & GEO.

Sources consultées le 13 octobre 2026.