Robots.txt et crawlers IA : Google rappelle quelques règles fondamentales

Abondance · Oct 22, 2026

Ce qu'il faut retenir :

Dans une vidéo, Gary Illyes rappelle que le parser de Google ne reconnaît que quatre règles : user-agent, allow, disallow et sitemap.

Toute ligne que le parser ne comprend pas est écartée en silence : une consigne rédigée en langage naturel, comme « don't crawl secret page », n'empêche donc pas l'exploration de la page visée.

Les jetons user-agent ne peuvent pas contenir d'emojis ni de caractères non latins, et Google recommande d'encoder en pourcentage les caractères non ASCII présents dans les chemins d'URL des règles.

Le robots.txt régit uniquement l'accès des…