Pour créer un fichier robots.txt et un sitemap XML optimisés pour Google, il faut placer le robots.txt à la racine du site (domain.com/robots.txt) avec les directives Disallow sur les répertoires à exclure et une directive Sitemap qui pointe vers votre plan de site. Le sitemap XML liste toutes les pages à indexer avec leur date de modification et leur priorité, puis doit être soumis à Google Search Console.
25% des sites web ont un fichier robots.txt mal configuré ou un sitemap absent, selon Screaming Frog. Ces deux fichiers sont invisibles pour les visiteurs, mais un robots.txt avec une erreur de syntaxe peut bloquer l'indexation de tout votre site en quelques minutes.
Ce guide explique le rôle de ces deux fichiers, les erreurs à éviter absolument, et comment les générer et soumettre correctement en moins de 10 minutes.
Générer votre robots.txt et sitemap XML gratuitement →
À quoi servent le robots.txt et le sitemap XML pour le référencement Google ?
Le robots.txt et le sitemap XML sont les deux fichiers fondateurs du SEO technique : le premier indique à Googlebot quelles pages ne pas explorer, le second lui indique quelles pages explorer en priorité. Ils travaillent en tandem pour optimiser le crawl budget de votre site, c'est-à-dire le temps que Google consacre à explorer votre site à chaque passage.
Le fichier robots.txt est consulté par Google avant d'explorer toute page. Il contient des directives simples :
Le sitemap XML liste toutes les pages que vous souhaitez voir indexées, avec leur date de dernière modification, leur fréquence de mise à jour et leur niveau de priorité (0.0 à 1.0). Sans sitemap, Google découvre vos pages en naviguant de lien en lien, ce qui peut prendre des semaines pour un site de taille moyenne.
Comment un générateur crée-t-il un robots.txt et un sitemap XML valides ?
Un générateur de robots.txt et sitemap XML valides fonctionne en collectant votre nom de domaine, les répertoires à exclure et les URLs à indexer, puis en produisant des fichiers conformes aux spécifications officielles de sitemaps.org et aux recommandations de Google Search Console. Il élimine le risque d'erreurs de syntaxe qui pourraient bloquer votre indexation.
Les 3 étapes du générateur :
Étape 1 : Entrez l'URL de votre site
Renseignez votre nom de domaine. L'outil l'utilise pour générer les chemins absolus corrects (obligatoires dans le sitemap XML).
Étape 2 : Configurez les règles du robots.txt
Indiquez les répertoires à bloquer. L'outil pré-remplit des règles courantes (admin, panier, pages de tri) que vous pouvez personnaliser.
Étape 3 : Listez vos pages pour le sitemap
Ajoutez les URLs de vos pages principales, leur fréquence de mise à jour et leur priorité. L'outil génère un sitemap conforme, prêt à soumettre à Google Search Console.
Quelles erreurs de robots.txt peuvent détruire le référencement d'un site ?
Les erreurs de robots.txt qui détruisent le référencement d'un site sont généralement simples mais aux conséquences catastrophiques : "Disallow: /" bloque l'intégralité du site en une ligne, un chemin relatif au lieu d'absolu dans le sitemap rend le fichier invalide, et l'oubli de la directive Sitemap: oblige Google à trouver le plan de site par d'autres moyens.
Les erreurs fréquentes à éviter :
| Erreur | Conséquence | Correction |
|---|---|---|
| "Disallow: /" (sur tout le site) | Site entier désindexé | Laisser Disallow vide |
| Bloquer les ressources CSS/JS | Google ne peut pas rendre les pages | Retirer les règles sur /assets/ |
| Sitemap absent du robots.txt | Google met plus de temps à le trouver | Ajouter Sitemap: https://domain.com/sitemap.xml |
| URLs relatives dans le sitemap | Sitemap invalide (rejeté par Search Console) | Utiliser des URLs absolues (https://...) |
| Sitemap avec pages noindex | Incohérence nuisant au crawl budget | Exclure les pages noindex du sitemap |
Ce qu'il faut faire après avoir généré ses fichiers
Générer les fichiers n'est que la première étape. Voici le processus complet pour que Google les prenne en compte :
1. Uploadez robots.txt à la racine de votre serveur
Connectez-vous via FTP ou cPanel et déposez le fichier à la racine de votre domaine. Vérifiez qu'il est accessible en tapant domain.com/robots.txt dans votre navigateur.
2. Placez le sitemap.xml et vérifiez son accessibilité
Même démarche : placez le sitemap.xml à la racine et confirmez son accès via domain.com/sitemap.xml. Le fichier doit retourner du XML structuré, pas une page d'erreur 404.
3. Soumettez le sitemap dans Google Search Console
Dans Search Console, allez dans "Sitemaps" (menu gauche), entrez l'URL de votre sitemap et cliquez "Envoyer". Google commence à crawler dans les heures suivantes.
4. Surveillez le rapport d'indexation
Dans Search Console, consultez "Pages" pour voir combien de vos URLs sont indexées vs soumises. Si des pages sont "exclues", le rapport indique pourquoi (noindex, erreur 404, URL canonique différente, etc.).
5. Mettez à jour le sitemap à chaque nouvelle page
Si vous ajoutez une page à votre site et ne mettez pas à jour le sitemap, Google peut mettre des semaines à la découvrir naturellement. Régénérez et re-soumettez le sitemap à chaque publication majeure.
Questions fréquentes sur robots.txt et sitemap XML
Faut-il obligatoirement soumettre le sitemap à Google Search Console ?
Non, ce n'est pas techniquement obligatoire car Google peut trouver votre sitemap via la directive dans le robots.txt. Cependant, la soumission via Search Console accélère l'indexation et vous donne accès à des rapports détaillés : nombre d'URLs soumises vs indexées, erreurs détectées, date du dernier crawl. Pour un site qui sort ou qui publie régulièrement du contenu, la soumission est fortement recommandée.
Mon CMS génère déjà un sitemap automatiquement. Est-il optimal ?
Pas toujours. Certains CMS génèrent des sitemaps incluant des pages en noindex (pages de tags, archives, résultats de recherche), ce qui crée une incohérence qui nuit au crawl budget. D'autres incluent des URLs dupliquées ou des pages d'erreur. Vérifiez le contenu de votre sitemap automatique en accédant à domain.com/sitemap.xml et en contrôlant que toutes les URLs listées sont bien des pages que vous souhaitez indexer.
Où placer exactement les fichiers robots.txt et sitemap.xml sur son serveur ?
Le fichier robots.txt doit obligatoirement être placé à la racine du domaine (domain.com/robots.txt), il ne fonctionne pas depuis un sous-dossier. Le sitemap XML peut être placé n'importe où, mais par convention on le met aussi à la racine (domain.com/sitemap.xml). Ce qui compte, c'est que l'URL du sitemap soit correctement renseignée dans le robots.txt et dans Google Search Console.
Quelle est la fréquence de mise à jour idéale pour un sitemap ?
La fréquence de mise à jour dépend du rythme de publication de votre site. Pour un blog qui publie 2 à 4 articles par semaine, une mise à jour hebdomadaire du sitemap est recommandée. Pour un site vitrine qui ne change quasiment pas, une mise à jour trimestrielle suffit. L'indicateur changefreq dans le sitemap (daily, weekly, monthly) donne une indication à Google, mais celui-ci ne la suit pas à la lettre, il décide seul de sa fréquence de crawl selon la fraîcheur réelle du contenu. La bonne pratique : régénérez et re-soumettez votre sitemap chaque fois que vous ajoutez plus de 3 nouvelles pages ou modifiez en profondeur des contenus existants.
Comment savoir si Google a bien indexé mes pages après la soumission du sitemap ?
Pour vérifier l'indexation, tapez "site:domain.com" dans Google et comptez les résultats retournés. Une méthode plus précise est Google Search Console : dans le rapport "Pages", comparez le nombre d'URLs "soumises via sitemap" vs "indexées". Un écart important indique des problèmes à investiguer, pages en noindex, contenu dupliqué, erreurs de crawl, ou contenu jugé insuffisant pour mériter l'indexation. Chez ConvertiLab, lors de refontes SEO, nous avons systématiquement augmenté le taux d'indexation de 70% à 95%+ en nettoyant les sitemaps et en corrigeant les robots.txt. Le délai moyen pour qu'une nouvelle page apparaisse dans Google après soumission du sitemap est de 3 à 2 semaines pour les sites avec un bon historique de crawl. Générer mon robots.txt et sitemap XML gratuitement →
