X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications

Pour bloquer l'indexation de certaines pages spécifiques d'un site, il suffit d'utiliser la balise meta robots noindex. Mais comment faire avec des documents qui ne sont pas au format HTML (documents PDF, audio, Word, Excel, Powerpoint, ... et pourquoi pas non plus des flux RSS/Atom) ? Google et Yahoo gèrent la directive X-Robots-Tag qui se déclare directement dans l'entête HTTP, ce qui le rend utilisable avec n'importe quel format de document. Voici quelques précisions sur cette fonctionnalité...

Source: Webrankinfo

Suivez Yatooweb
sur Twitter

Mots clés

Commentaires

Ajouter un commentaire

Aticles liés