Robots

Derniers articles du blog

X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications

13.12.2007

Pour bloquer l'indexation de certaines pages spécifiques d'un site, il suffit d'utiliser la balise meta robots noindex. Mais comment faire avec des documents qui ne sont pas au format HTML (documents PDF, audio, Word, Excel, Powerpoint, ... et pourquoi pas non plus des flux RSS/Atom) ? Google et Yahoo gèrent la directive X-Robots-Tag qui se déclare directement dans l'entête HTTP, ce qui le rend utilisable avec n'importe quel format de document. Voici quelques précisions sur cette fonctionnalité...Source: Webrankinfo...

La balise meta NOYDIR de Yahoo

05.03.2007

Yahoo vient d'annoncer le support d'une nouvelle valeur pour la balise meta robots : "noydir" sert désormais à préciser qu'on ne veut pas que Yahoo utilise (dans les pages de résultats de son moteur de recherche) le titre du site tel qu'il est référencé dans l'annuaire de Yahoo. Explications...Source: Webrankinfo...

Les robots MSNbot de Live Search

30.11.2006

L'équipe de MSN Search (oh pardon Live Search) fait un petit récapitulatif des différentes versions de leur crawler, MSNBot.Source: Webrankinfo...

Les robots MSNbot de Live Search

30.11.2006

L'équipe de MSN Search (oh pardon Live Search) fait un petit récapitulatif des différentes versions de leur crawler, MSNBot.Source: Webrankinfo...

Google, Microsoft et Yahoo! s'unissent autour du format Sitemaps

16.11.2006

Google, Microsoft et Yahoo! viennent d'annoncer de concert qu'ils s'alliaient autour du protocole "Sitemaps" permettant de proposer aux moteurs de recherche un standard unique de "plan de site" facilitant aux robots d'indexation l'accès aux pages web d'un site web... Source: Abondance...

Google crawle les fichiers CSS

25.06.2006

Jusqu'à présent, Google ignorait totalement les feuilles de styles (CSS), mais on voit désormais des robots de Google venir les crawler. Quels sont les objectifs de Google ?Source: Webrankinfo...