Pour bloquer l'indexation de certaines pages spécifiques d'un site, il suffit d'utiliser la balise meta robots noindex. Mais comment faire avec des documents qui ne sont pas au format HTML (documents PDF, audio, Word, Excel, Powerpoint, ... et pourquoi pas non plus des flux RSS/Atom) ? Google et Yahoo gèrent la directive X-Robots-Tag qui se déclare directement dans l'entête HTTP, ce qui le rend utilisable avec n'importe quel format de document. Voici quelques précisions sur cette fonctionnalité...
Source: Webrankinfo
| Articles |
Firefox est souvent très apprécié des développeurs web et des webmasters ; il est également très utile pour tous ceux qui s'intéressent au... Vous vous rappelez peut-être que nous avions présenté le projet Opquast sur WebRankInfo en août 2004. Depuis ce projet a rencontré un gros... A part le PageRank, un des éléments les plus populaires de l'algorithme de Google était le Google Bombing. Etait, car depuis quelques jours... L'équipe de MSN Search (oh pardon Live Search) fait un petit récapitulatif des différentes versions de leur crawler, MSNBot.Source:... L'équipe de MSN Search (oh pardon Live Search) fait un petit récapitulatif des différentes versions de leur crawler, MSNBot.Source:... |
Imprimer cet article
Discutez-en sur le forum
Ajouter aux favoris
Ecrit par Webrankinfo
