Comment créer un fichier robots.txt optimisé pour WordPress (exemples et conseils)

Le rôle du fichier robots.txt dans WordPress

Le fichier robots.txt est un petit fichier texte placé à la racine de ton site WordPress (souvent accessible via https://tonsite.fr/robots.txt). Il a une mission simple mais cruciale : indiquer aux robots des moteurs de recherche (comme Googlebot, Bingbot ou AhrefsBot) les parties de ton site qu’ils peuvent explorer… et celles qu’ils doivent ignorer.

En d’autres termes, c’est une porte d’entrée numérique :

• Tu peux ouvrir certaines zones pour favoriser l’indexation de ton contenu stratégique,
• Et fermer l’accès à d’autres répertoires techniques ou sensibles, comme /wp-admin/ (l’administration), /cgi-bin/ (fichiers serveurs), ou /cart/ et /checkout/ pour les boutiques en ligne.

Sans ce fichier, Google explorera tout ce qu’il trouve : images, scripts, résultats de recherche internes, voire des pages inutiles pour le SEO.
Résultat : ton budget de crawl (le temps que Google accorde à ton site pour l’explorer) est gaspillé sur des pages secondaires.

Un fichier robots.txt bien construit permet au contraire de canaliser l’exploration vers les pages importantes, celles qui doivent absolument être indexées : pages d’accueil, services, articles de blog, catégories principales…

En clair, tu aides Google à “prioriser” ce qui compte vraiment pour ton référencement.

Pourquoi il est essentiel pour ton référencement SEO ?

Le robots.txt n’agit pas directement sur ton positionnement, mais il influence fortement la manière dont Google explore et comprend ton site.
C’est un outil d’optimisation indirecte, mais très puissant, surtout sur les sites WordPress où de nombreuses pages techniques peuvent polluer le crawl.

Voici ce qu’un bon fichier robots.txt permet concrètement :

1. Optimiser le budget de crawl

Google n’a pas un temps infini pour visiter ton site. Plus ton site est grand, plus il est important de réserver ce temps aux bonnes pages.
En bloquant les dossiers inutiles (/wp-admin/, /cgi-bin/, /wp-json/, /feed/…), tu facilites l’accès aux pages à fort potentiel SEO.

2. Protéger les pages sensibles ou sans intérêt SEO

Certaines zones ne doivent pas être indexées, car elles peuvent créer du contenu dupliqué ou polluer les résultats de recherche :

• les pages de panier ou de compte,
• les filtres de recherche interne (?s=),
• les paramètres de tri ou de pagination.

3. Améliorer la cohérence de ton indexation

Un fichier robots.txt clair montre à Google que ton site est bien structuré et maîtrisé. Cela renforce la perception de fiabilité technique, un critère indirect de qualité SEO.

4. Prévenir les erreurs d’exploration

Sans directives précises, les robots peuvent accéder à des fichiers dynamiques, scripts d’administration ou contenus incomplets.
En définissant les zones d’accès, tu réduis les erreurs 404 et améliores la santé technique du site (notamment via les rapports “Exploration” dans Google Search Console).

Exemple concret :

Imaginons un site WordPress sans fichier robots.txt. Google passe son temps à explorer /wp-admin/, /wp-json/, les pages de panier ou les flux RSS, au lieu de se concentrer sur ton contenu clé (pages services, articles de blog, page contact).
Résultat : indexation lente, perte de visibilité, et données inutiles dans la Search Console.

À l’inverse, un robots.txt bien configuré agit comme un chef d’orchestre :
il guide Google vers les bons contenus et optimise ton SEO sans changer une seule ligne de ton contenu.

Si tu veux aller plus loin sur la compréhension des réponses de Google, lis mon article sur le code HTTP 200 et son impact sur le SEO.

Où se trouve le fichier robots.txt sur WordPress ?

Sur WordPress, le fichier robots.txt n’est pas toujours visible au premier coup d’œil, et c’est souvent là que les utilisateurs se trompent.
Tu peux en effet avoir deux types de fichiers robots.txt :

• un fichier virtuel (généré automatiquement par WordPress),
• ou un fichier réel (créé manuellement sur ton hébergement).

Comprendre cette différence est essentiel avant d’éditer quoi que ce soit.

Le robots.txt “virtuel” généré automatiquement par WordPress

Dès son installation, WordPress met à disposition un robots.txt virtuel, accessible depuis ton navigateur à cette adresse :

Même si tu n’as jamais créé ce fichier, WordPress en affiche une version par défaut.
En général, elle ressemble à ceci :

Ce fichier virtuel est stocké en mémoire, pas physiquement présent sur ton serveur.
Il donne simplement une directive basique pour empêcher les moteurs d’explorer ton espace d’administration.

Limite du robots.txt virtuel :
Tu ne peux pas le modifier directement via ton hébergeur ou le gestionnaire de fichiers.
Si tu veux le personnaliser (ajouter un sitemap, bloquer certains répertoires, etc.), tu dois passer soit par un plugin SEO, soit par la création d’un fichier réel.

Créer un fichier robots.txt personnalisé (recommandé)

Pour garder la maîtrise totale de ton SEO, il est préférable de créer un fichier robots.txt manuel.
Voici deux méthodes simples :

 Méthode 1 : via le FTP ou le gestionnaire de fichiers

1. Connecte-toi à ton espace d’hébergement (via FileZilla ou le gestionnaire de fichiers de ton cPanel).
2. À la racine de ton site (là où se trouvent les fichiers wp-config.php et wp-content), crée un nouveau fichier texte.
3. Nomme-le exactement robots.txt (en minuscules).
4. Colle ton contenu personnalisé, par exemple :

5. Enregistre et envoie le fichier à la racine du site.

Tu pourras ensuite le vérifier dans ton navigateur ou dans Google Search Console.

 Méthode 2 : via un plugin SEO (Yoast SEO, Rank Math, All in One SEO)

Les plugins SEO les plus populaires intègrent un éditeur de fichiers pratique pour modifier ton robots.txt sans toucher au FTP.
C’est la solution idéale si tu préfères rester dans l’interface WordPress.

• Yoast SEO :
  

  Tableau de bord → SEO → Outils → Éditeur de fichiers
  Tu pourras modifier ton robots.txt et même créer un fichier s’il n’existe pas encore.

• Rank Math :
  

  Rank Math → Outils SEO → Fichier robots.txt
  L’éditeur est plus visuel et te propose souvent des suggestions automatiques (comme l’ajout du sitemap XML).

Ces solutions ont l’avantage d’être simples, rapides et sûres.
Tu peux modifier ton fichier sans risquer d’erreur technique, et les changements sont pris en compte immédiatement.

Quelle option choisir pour créer un fichier robots.txt ?

Astuce de pro : même si tu passes par un plugin, pense à vérifier ton fichier directement dans le navigateur. Certains cacheurs ou CDN (Cloudflare, WP Rocket) peuvent retarder la prise en compte des modifications.

Les bonnes pratiques d’un robots.txt SEO-friendly

Un fichier robots.txt bien configuré peut véritablement faire la différence entre un site bien indexé et un site invisible.
Trop souvent, les utilisateurs WordPress laissent le fichier par défaut ou y ajoutent des lignes inadaptées, ce qui bloque accidentellement des contenus importants.
Voici les bonnes pratiques à suivre pour un fichier efficace et compatible avec les recommandations Google.

En résumé :

• bloque ce qui n’apporte rien (admin, panier, recherche interne),
• autorise les ressources essentielles (CSS, JS, images),
• ajoute ton sitemap,
• teste régulièrement ton fichier.

Pour aller plus loin, découvre mon accompagnement SEO WordPress, où j’analyse et optimise l’ensemble des paramètres techniques de ton site : robots.txt, sitemap, indexation et vitesse d’exploration.

3 exemples de fichiers robots.txt pour WordPress à copier

Passons maintenant au concret.
Tu sais à quoi sert un fichier robots.txt et comment l’optimiser, mais voyons ensemble des exemples réels adaptés à différents types de sites WordPress.

L’idée est simple : selon que ton site soit vitrine, blog ou e-commerce, certaines zones doivent être explorées et d’autres bloquées.
Voici donc trois modèles prêts à copier-coller tous conformes aux recommandations Google et à la structure WordPress.

Exemple n°1 : pour un site vitrine WordPress

Un site vitrine ne contient généralement pas de zones dynamiques sensibles comme un panier ou un espace membre.
L’objectif est donc de bloquer uniquement les répertoires techniques, tout en laissant le reste accessible aux moteurs de recherche.

Code à copier :

Explications :

• User-agent: * → s’applique à tous les robots (Google, Bing, etc.)
• Disallow: /wp-admin/ → empêche Google d’accéder à ton espace d’administration
• Allow: /wp-admin/admin-ajax.php → autorise les requêtes AJAX nécessaires au bon fonctionnement du site
• Sitemap: → indique la localisation de ton plan XML pour aider à l’indexation

– Ce modèle suffit pour 90 % des sites vitrines.
Simple, efficace et totalement conforme aux consignes de Google.

Exemple n°2 : pour un blog WordPress

Les blogs WordPress génèrent souvent beaucoup d’URLs : catégories, tags, résultats de recherche internes, flux RSS…
Certaines de ces pages n’apportent aucune valeur SEO et peuvent diluer ton budget de crawl.

Pour renforcer la sécurité d’un blog WordPress, découvre comment protéger ton site contre les attaques par force brute.

Voici donc un modèle adapté à un blog :

Code à copier :

Explications :

• Disallow: /?s= → empêche Google d’explorer les pages de recherche interne (souvent dupliquées et sans valeur ajoutée)
• Disallow: /feed/ → évite l’indexation des flux RSS (inutile dans les SERP)
• Allow: et Sitemap: restent identiques au modèle vitrine

– Ce fichier est idéal pour un blog de contenu SEO, marketing ou technique, où tu veux concentrer Google sur tes articles principaux.

Exemple n°3 : pour une boutique WooCommerce

Les sites e-commerce sous WordPress (WooCommerce) demandent un peu plus de rigueur.
Il faut protéger les pages du tunnel d’achat, qui ne doivent jamais apparaître dans les résultats de recherche, tout en laissant accessibles les fiches produits et catégories.

Code à copier :

Explications :

• Disallow: /cart/ → empêche Google d’indexer le panier
• Disallow: /checkout/ → bloque le tunnel de commande
• Disallow: /my-account/ → évite l’affichage de pages personnelles ou privées
• Allow: → autorise toujours l’accès aux requêtes AJAX pour ne pas bloquer les scripts de paiement ou d’interaction
• Sitemap: → indique le plan complet du site e-commerce (produits, catégories, pages CMS, etc.)

– Ce modèle est celui que j’utilise pour la majorité des sites WooCommerce de mes clients.
Il est simple, performant et 100 % compatible avec Googlebot et Bingbot.

Pourquoi ces modèles fonctionnent (et se positionnent bien)

Ces trois exemples ont été pensés pour répondre à l’intention réelle des utilisateurs qui tapent “robots.txt WordPress exemple”.
Ils cherchent un modèle concret à copier, pas une explication théorique.

Chaque fichier :

• est minimaliste mais complet,
• respecte les bonnes pratiques Google,
• améliore la lisibilité du site par les robots,
• et évite les erreurs fréquentes (blocage des ressources CSS, JS ou images).

Rappelle-toi : un fichier robots.txt n’a pas besoin d’être compliqué pour être performant.
Ce qui compte, c’est sa clarté et sa cohérence avec ta structure réelle.

Les erreurs fréquentes à éviter

Même si le fichier robots.txt semble simple, de nombreuses erreurs peuvent impacter négativement ton référencement.
Voici les fautes les plus courantes que je rencontre sur les sites WordPress, ainsi que la manière de les corriger.

1. Bloquer tout le site par erreur

C’est la faute la plus dangereuse :

– Cette ligne interdit à tous les robots d’accéder à toutes les pages de ton site.
Résultat : ton site disparaît de Google en quelques jours.

Version corrigée :

Toujours vérifier ton fichier après modification via Google Search Console pour éviter ce type d’erreur critique.

2. Bloquer le dossier /wp-content/

Certains pensent qu’il faut cacher les fichiers du thème ou des plugins : grave erreur !
Ce dossier contient aussi tes images, CSS et JS, essentiels au rendu de ton site.

Exemple à ne pas faire :

Version corrigée :
Ne bloque jamais /wp-content/, mais seulement /wp-admin/ ou des sous-répertoires non publics.