Faut-il bloquer les robots d'exploration IA dans robots.txt ?
Seulement si vous comprenez quelle décision vous prenez. Bloquer un robot d'entraînement comme GPTBot est un choix légitime de licence de contenu, sans pénalité de recherche directe. Bloquer un robot de récupération comme OAI-SearchBot vous retire entièrement de la recherche ChatGPT. Ce sont deux décisions distinctes que la plupart des sites prennent d'une seule ligne.
Les agents d'entraînement (GPTBot, ClaudeBot, Google-Extended) déterminent si votre contenu alimente l'entraînement. Les agents de récupération (OAI-SearchBot, PerplexityBot) déterminent si vous pouvez apparaître dans les réponses.
C'est l'erreur la plus fréquente et la plus coûteuse que nous trouvons en audit : un site bloque tous les agents IA, puis commande un travail de visibilité qu'il a déjà rendu impossible.
Services