01User-agent: *
02Allow: /
03Disallow: /dashboard
04Disallow: /auth
05
06Sitemap: /sitemap.xml
SEO Prompt #003Base technique
Robots.txt Optimization
Analyse et configure le fichier robots.txt pour contrôler correctement le crawl du site.
Temps
4 min
Niveau
Débutant
Compatible
Toutes les IA
SEOTechnicalCrawl
Le prompt
Contenu réservé aux membres
Le prompt complet est inclus dans le pack. Débloque-le une fois et accède à toute la bibliothèque correspondante, à vie.
Ce que fait ce prompt
écrire un fichier robots.txt clair qui laisse passer les pages utiles et protège le reste.
Idéal pour
- sites en préproduction
- sites avec espace membre
- audits SEO
Optimisations
- Crawlability
- Règles d'exploration
- Sitemap
- Pages privées
