gestion robots.txt

Invité
Invité n'ayant pas de compte PHPfrance

21 déc. 2012, 14:27

Bonjour à tous,

J'ai soumis un site map xml à google et il me dit que certaines des urls sont bloquées dans le fichier robots.tx.
Voici le contenu du fichier (site joomla):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /components/com_virtuemart/shop_image/product/

Les urls bloquées dont des images contenues dans le dossier suivant:
Allow: /components/com_virtuemart/shop_image/product/

C'est étrange car google me dit que certaines des images de ce dossier sont bloquées, mais pas toutes.
Pourtant j'ai mis allow pour ce dossier avec chmod 705.

Du coup je me demande si le fait d'avoir spécifié également Disallow: /images/ est un pb pour rendre /components/com_virtuemart/shop_image/product/ accessible.

En vous remerciant pour vos réponses.

Invité
Invité n'ayant pas de compte PHPfrance

21 déc. 2012, 14:29

pardon, petite rectification:
Je me demande si le fait d'avoir spécifié également Disallow: /components/ est un pb pour rendre /components/com_virtuemart/shop_image/product/ accessible.

Avatar du membre
Administrateur PHPfrance
Administrateur PHPfrance | 9782 Messages

21 déc. 2012, 14:41

Bonjour,

Réponse ici :
https://en.wikipedia.org/wiki/Robots_ex ... _directive

Il faut mettre le Allow avant le Disallow
Toutefois, pour Google ça ne devrait pas changer grand chose vu qu'il donne la priorité à la directive la plus spécifique.

Tu peux aussi utiliser les outils fourni par Google pour les webmasters, ils permettent d'obtenir + d'informations sur comment sont traiter les urls :
https://www.google.com/webmasters/tools/home?hl=fr
Quand tout le reste a échoué, lisez le mode d'emploi...

Invité
Invité n'ayant pas de compte PHPfrance

21 déc. 2012, 16:24

Bonjour,

Merci pour ta réponse.
J'ai mis le allow avant disallow mais ça ne semple rien changer.
J'utilise justement webmastertools et c'est précisément webmastertools qui me dit que certaines urls sont bloquées.

Ce que je ne comprends pas, c'est pourquoi certaines urls sont bloquées et pas d'autres.
J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.

Avatar du membre
Administrateur PHPfrance
Administrateur PHPfrance | 9782 Messages

21 déc. 2012, 17:20

J'ai mis le allow avant disallow mais ça ne semple rien changer.
Il faut attendre un nouveau référencement de Google des fichiers concernés après une modif du fichier robots.txt et ça peut prendre plusieurs jours/semaines...
Par ailleurs, si tu n'as aucun lien ou page accessible (à part tes images) dans le répertoire components/, alors le plus simple serait juste de retirer le disallow
Google ne référencie que les contenus dont il peut avoir connaissance et qui sont accessibles sur le web.
J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.
Ça ne sert absolument à rien pour le référencement. Les permissions chmod ne servent que pour le système de fichier du serveur et donc en local. Du moment que tes fichiers sont visibles et accessibles depuis une url cela suffit.
Quand tout le reste a échoué, lisez le mode d'emploi...

ViPHP
ViPHP | 5924 Messages

21 déc. 2012, 17:27

J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.
Ça ne sert absolument à rien pour le référencement. Les permissions chmod ne servent que pour le système de fichier du serveur et donc en local. Du moment que tes fichiers sont visibles et accessibles depuis une url cela suffit.
Par ailleurs, il faut réfléchir non pas en dossiers mais en arborescence web.
Dans de nombreux cas l'arborescence de fichiers et l'arborescence web ne sont pas équivalentes (url rewriting, aliasing, affichage des fichiers via un script php, etc). Je te suggère de vérifier que ce que tu essayes d'autoriser est cohérent avec ton arborescence web.

Cordialement.