Clarification de compatibilité des champs robots.txt
Google apporte une clarification, indiquant que seuls les champs mentionnés dans sa documentation sur le fichier robots.txt sont pris en charge.
Cette clarification était nécessaire selon Google, suite à des questions concernant des champs non explicitement listés comme compatibles.
La liste des champs pris en charge par Google sont :
user-agent: identifie le robot d’exploration auquel les règles s’appliquent.allow: chemin d’URL à explorer.disallow: chemin d’URL à ne pas explorer.sitemap: URL complète d’un sitemap.