Robots.txt est probablement le plus petit fichier d'un site web, et pourtant l'un de ceux qui peuvent causer les dégâts les plus importants en cas d'erreur. Une seule ligne mal écrite peut faire disparaître un site entier des résultats de recherche en quelques heures, généralement sans qu'aucune alerte visible ne prévienne le propriétaire du site avant que le trafic ne s'effondre.

Ce que ce fichier fait réellement

Robots.txt indique aux robots d'exploration quelles parties d'un site ils peuvent ou ne peuvent pas parcourir. Il doit obligatoirement se trouver à la racine du domaine, à l'adresse exemple.fr/robots.txt, faute de quoi il n'est tout simplement pas pris en compte. Un point souvent mal compris mérite d'être précisé : robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée dans ce fichier peut malgré tout apparaître dans les résultats de recherche, généralement sans description, si d'autres sites pointent vers elle par un lien. Pour retirer une page des résultats de façon fiable, la balise noindex placée directement sur la page reste le bon outil, pas robots.txt.

L'erreur la plus coûteuse : le blocage total accidentel

Le scénario le plus dommageable reste la ligne Disallow suivie d'une simple barre oblique, qui bloque l'exploration de l'intégralité du site. Ce cas se produit fréquemment lors d'une mise en production, lorsque le fichier robots.txt utilisé sur l'environnement de test, volontairement restrictif pour empêcher son indexation, se retrouve copié tel quel sur le site réel sans être modifié. Une fois cette erreur commise, il ne suffit pas de corriger le fichier pour que tout revienne instantanément à la normale : les pages déjà retirées de l'exploration peuvent rester visibles, mais dégradées, pendant plusieurs semaines le temps que Google réexplore l'ensemble du site.

Le piège du blocage des fichiers CSS et JavaScript

Un autre problème fréquent, en particulier sur d'anciens sites, consiste à bloquer par erreur l'accès aux dossiers contenant les feuilles de style et les scripts. Google analyse aujourd'hui une page à la manière d'un navigateur, en tenant compte de sa mise en forme réelle. S'il ne peut pas charger le CSS et le JavaScript, il perçoit une page mal formée ou cassée, ce qui peut influencer négativement son évaluation, même si le contenu textuel reste parfaitement accessible.

La nouveauté de 2026 : distinguer les robots de recherche des robots d'intelligence artificielle

Depuis l'essor des assistants conversationnels, une nouvelle catégorie de robots explore le web, avec des objectifs différents des moteurs de recherche traditionnels. Certains, comme GPTBot ou CCBot, collectent du contenu pour entraîner des modèles de langage. D'autres, comme les robots de récupération utilisés par les fonctions de recherche de certains assistants, visent à citer une source précise en réponse à une question posée par un utilisateur, ce qui reste souvent souhaitable pour la visibilité d'un site. Ces deux catégories se distinguent par leur nom d'agent utilisateur, et robots.txt permet de les autoriser ou de les bloquer indépendamment les uns des autres, plutôt que d'appliquer une règle unique à tous les robots via l'astérisque. Un point à noter : Google-Extended, qui alimente l'entraînement des modèles Gemini, est un robot distinct de Googlebot, le robot utilisé pour l'indexation classique dans la recherche Google. Bloquer Google-Extended n'affecte donc pas le référencement du site dans les résultats de recherche habituels.

Les bonnes pratiques pour un fichier fiable

Une structure sûre consiste à commencer par autoriser l'exploration de façon large, puis à ajouter des règles de blocage précises et nommées plutôt que des jokers vagues, ce qui limite les conséquences d'une erreur de syntaxe. La casse des caractères compte dans les chemins indiqués : bloquer un dossier écrit en minuscules ne bloque pas automatiquement la même adresse écrite avec une majuscule. Il est également recommandé de toujours inclure la ligne indiquant l'emplacement du plan du site, une étape simple mais fréquemment oubliée, et de garder le fichier concis, sachant que les principaux moteurs ignorent généralement les fichiers dépassant une taille de plusieurs centaines de kilo-octets.

Vérifier après chaque changement

Après toute modification du fichier, en particulier après une mise en production, un contrôle rapide de son contenu réel en ligne évite de découvrir un blocage accidentel plusieurs jours après qu'il ait commencé à affecter le trafic. Search Console propose un outil dédié permettant de tester si une URL précise est bloquée par le fichier actuel, ce qui reste le moyen le plus fiable de confirmer qu'une règle produit l'effet attendu.

Points à vérifier avant publication : confirmer que la distinction entre Googlebot et Google-Extended reste exacte à la date de publication, et vérifier que les noms d'agents utilisateurs cités pour les robots d'intelligence artificielle (GPTBot, CCBot, Google-Extended) correspondent toujours aux dénominations officielles en vigueur.