gestion robots.txt

Répondre


Cette question est un moyen d’empêcher des soumissions automatisées de formulaires par des robots.
Smileys
:D :) :( :o :shock: :? 8-) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen: =D> #-o =P~ :^o :non: :priere: 8-|
Voir plus de smileys
  Revue du sujet
 

  Étendre la vue Revue du sujet : gestion robots.txt

Re: gestion robots.txt

par Sékiltoyai » 21 déc. 2012, 17:27

J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.
Ça ne sert absolument à rien pour le référencement. Les permissions chmod ne servent que pour le système de fichier du serveur et donc en local. Du moment que tes fichiers sont visibles et accessibles depuis une url cela suffit.
Par ailleurs, il faut réfléchir non pas en dossiers mais en arborescence web.
Dans de nombreux cas l'arborescence de fichiers et l'arborescence web ne sont pas équivalentes (url rewriting, aliasing, affichage des fichiers via un script php, etc). Je te suggère de vérifier que ce que tu essayes d'autoriser est cohérent avec ton arborescence web.

Cordialement.

Re: gestion robots.txt

par @rthur » 21 déc. 2012, 17:20

J'ai mis le allow avant disallow mais ça ne semple rien changer.
Il faut attendre un nouveau référencement de Google des fichiers concernés après une modif du fichier robots.txt et ça peut prendre plusieurs jours/semaines...
Par ailleurs, si tu n'as aucun lien ou page accessible (à part tes images) dans le répertoire components/, alors le plus simple serait juste de retirer le disallow
Google ne référencie que les contenus dont il peut avoir connaissance et qui sont accessibles sur le web.
J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.
Ça ne sert absolument à rien pour le référencement. Les permissions chmod ne servent que pour le système de fichier du serveur et donc en local. Du moment que tes fichiers sont visibles et accessibles depuis une url cela suffit.

Re: gestion robots.txt

par Invité » 21 déc. 2012, 16:24

Bonjour,

Merci pour ta réponse.
J'ai mis le allow avant disallow mais ça ne semple rien changer.
J'utilise justement webmastertools et c'est précisément webmastertools qui me dit que certaines urls sont bloquées.

Ce que je ne comprends pas, c'est pourquoi certaines urls sont bloquées et pas d'autres.
J'ai mis les permissions du dossier /components/com_virtuemart/shop_image/product/ et tout son contenu en 755.

Re: gestion robots.txt

par @rthur » 21 déc. 2012, 14:41

Bonjour,

Réponse ici :
https://en.wikipedia.org/wiki/Robots_ex ... _directive

Il faut mettre le Allow avant le Disallow
Toutefois, pour Google ça ne devrait pas changer grand chose vu qu'il donne la priorité à la directive la plus spécifique.

Tu peux aussi utiliser les outils fourni par Google pour les webmasters, ils permettent d'obtenir + d'informations sur comment sont traiter les urls :
https://www.google.com/webmasters/tools/home?hl=fr

Re: gestion robots.txt

par Invité » 21 déc. 2012, 14:29

pardon, petite rectification:
Je me demande si le fait d'avoir spécifié également Disallow: /components/ est un pb pour rendre /components/com_virtuemart/shop_image/product/ accessible.

gestion robots.txt

par Invité » 21 déc. 2012, 14:27

Bonjour à tous,

J'ai soumis un site map xml à google et il me dit que certaines des urls sont bloquées dans le fichier robots.tx.
Voici le contenu du fichier (site joomla):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /components/com_virtuemart/shop_image/product/

Les urls bloquées dont des images contenues dans le dossier suivant:
Allow: /components/com_virtuemart/shop_image/product/

C'est étrange car google me dit que certaines des images de ce dossier sont bloquées, mais pas toutes.
Pourtant j'ai mis allow pour ce dossier avec chmod 705.

Du coup je me demande si le fait d'avoir spécifié également Disallow: /images/ est un pb pour rendre /components/com_virtuemart/shop_image/product/ accessible.

En vous remerciant pour vos réponses.