Protéger le robots.txt d'une ouverture via le navigateur

Vous avez des questions sur le référencement ? Des conseils ou astuces...

Modérateur: david96

Messagede CVX » Sam 8 Sep 2007 00:18

C'est ok, merci beaucoup les gens :D .

Par contre, y'a t-il un moyen de protéger le robots.txt d'une ouverture via le navigateur ?

Si je tape
Code: Tout sélectionner
http://ndd.com/robots.txt,
ça en lit le contenu.

Y'a rien d'important dedans à part le lien vers le sitemap, mais j'aimerai quand même savoir si on peut bloquer l'accès sauf aux robots :P
CVX
YatooAverti
YatooAverti
 
Messages: 79
Inscription: Dim 26 Aoû 2007 14:40

Messagede david96 » Sam 8 Sep 2007 00:44

CVX a écrit:Par contre, y'a t-il un moyen de protéger le robots.txt d'une ouverture via le navigateur ?
Y'a rien d'important dedans à part le lien vers le sitemap, mais j'aimerai quand même savoir si on peut bloquer l'accès sauf aux robots :P

Question très intéressante, je ne me la suis jamais posée, je vais suivre la thread, car ça m'intéresse aussi du coup ! :D
Avatar de l’utilisateur
david96
Modérateur
Modérateur
 
Messages: 963
Inscription: Mar 13 Fév 2007 00:52
Localisation: Grenoble

Messagede Yatooweb » Lun 10 Sep 2007 09:58

Personnellement je ferais comme ceci:

1/ Un fichier robots.php qui contient la règle suivante:
- on vérifie que le USER AGENT est un robot
Code: Tout sélectionner
if (preg_match('/Googlebot|Yahoo!|Msnbot|VoilaBot/i', $_SERVER['HTTP_USER_AGENT']))
{
echo "User-agent: *\nSitemap: http://www.example.com/sitemap.xml";
}

2/ Ajouter une ligne de redirection dans le htaccess:
Code: Tout sélectionner
RewriteRule ^robots.txt$ robots.php


Ainsi le fichier robots.txt ne s'affichera que pour les robots. Il faut bien entendu compléter au maximum la liste des robots autorisés.
Avatar de l’utilisateur
Yatooweb
Administrateur
Administrateur
 
Messages: 1018
Inscription: Mar 30 Jan 2007 14:10
Localisation: Aude

Messagede david96 » Lun 10 Sep 2007 21:08

Bien vu ! :D
Avatar de l’utilisateur
david96
Modérateur
Modérateur
 
Messages: 963
Inscription: Mar 13 Fév 2007 00:52
Localisation: Grenoble

Messagede CVX » Mar 11 Sep 2007 06:04

Merci Julien, je vais tester ça :D !

Je n'avais pas du tout penser à utiliser une expression régulière pour ça. Je pense que tu viens aussi de résoudre un autre de mes problèmes, style.css => style.php pour utiliser du php dans le style.css, sans que cela crée de problème de validation ou autre, enfin j'espère.
CVX
YatooAverti
YatooAverti
 
Messages: 79
Inscription: Dim 26 Aoû 2007 14:40


Retourner vers Référencement général

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités

cron
W3C XHTML 1.0
W3C CSS 2.1
YATOOWEB © 2005 - 2020


Contact | Logos & liens | Partenaires | Labo | Plan du site