Les crawlers IA sont les robots d'exploration des entreprises d'intelligence artificielle : ils parcourent le web, lisent les pages et alimentent les réponses des assistants. Chacun se présente avec un nom d'agent identifiable : GPTBot et OAI-SearchBot pour OpenAI (ChatGPT), ClaudeBot pour Anthropic (Claude), Google-Extended pour l'entraînement des modèles Gemini, PerplexityBot pour Perplexity, ou encore Bingbot qui nourrit Copilot. S'y ajoutent des robots de « lecture à la demande » qui visitent une page au moment précis où un utilisateur pose une question à son assistant.
Leur accès se contrôle dans le fichier robots.txt, le portier historique du web : on peut y autoriser ou bloquer chaque robot individuellement. Et c'est là qu'un choix stratégique se pose. Pour un média qui vit de son contenu, bloquer les crawlers IA peut se défendre. Pour un commerce, c'est presque toujours une erreur : un robot bloqué, c'est un assistant qui ne peut pas vous recommander. Si ChatGPT ne peut pas lire votre carte, il conseillera le restaurant d'en face. La visibilité dans les IA commence par une porte ouverte.
Il ne suffit pas d'ouvrir la porte, encore faut-il que la visite soit fructueuse. Les crawlers IA ont des budgets d'exploration courts et une lecture du JavaScript souvent limitée : un site lent, ou dont le contenu ne s'affiche qu'après exécution de scripts lourds, leur échappe en partie. C'est un argument technique fort en faveur des sites statiques — tout le contenu est dans la page dès la première lecture, sans détour. Vitesse, HTML propre, données structurées et llms.txt forment le kit d'accueil complet.
Bon à savoir : on peut vérifier dans les journaux du serveur quels robots visitent son site, et distinguer l'exploration d'entraînement (le modèle apprend, visite épisodique) de la lecture en direct (un client vous cherche, maintenant). Sur les sites que je gère, l'accès aux crawlers IA est vérifié et documenté — c'est l'étape « fondations techniques » de la méthode de référencement IA.
Les erreurs fréquentes
- Les bloquer par défaut : interdire GPTBot ou ClaudeBot « au cas où » supprime toute chance d'être cité par ChatGPT ou Claude.
- Confondre crawler et scraper malveillant : les robots officiels des IA respectent le robots.txt ; les bloquer ne protège de rien d'utile pour un commerce.
- Servir un contenu réservé au JavaScript : beaucoup de crawlers IA lisent mal le contenu injecté par script. L'essentiel doit se trouver dans le HTML.