Bonsoir,

Pour laisser l'accès complet à un site à tous les robots qui peuvent passer,
3 solutions sont indiquées comme équivalentes :

• pas de fichier robots.txt
• un fichier robots.txt vide
• un fichier robots.txt contenant :

  Code : Tout sélectionner

  User-Agent: * Disallow:

Je commence à me demander si ces 3 méthodes sont strictement identiques...

Actuellement, je n'ai placé aucun fichier robots.txt.
Je reçois chaque jour en moyenne 3 à 4 visites de robots.
Grâce à leurs IP, j'ai pu en identifier certains.
Comment se fait-il que certains robots reviennent plusieurs fois par jour ?
Si je leur donnais un fichier robots.txt à manger, cela les calmerait-il ?

Il existe une quatrième option : une balise meta, par exemple : À laquelle tu peux adjoindre une autre balise meta : En théorie, ça devrait faire que les robots suivront et indexeront la page et suivront les liens de cette page puis reviendront 15 jours plus tard pour mettre à jour l'indexation.

Un petit article très clair sur le fichier robots.txt décrit assez bien les possibilités.

Bonsoir,

J'en profite pour poser une question :

Y'a t-il un moyen pour permettre aux robots de parcourir des pages d'un espace membre, contenant donc une redirection si aucune session utilisateur n'existe.

Je vois mal comment un robot pourrait faire, mais on ne sait jamais...^^'

En espérant avoir été suffisamment clair.

Merci.

Non, dans la mesure ou un robot sera comme un internaute et devra s'identifier pour acceder à un espace membre, or meme en admettant qu'il puisse s'inscrire, il ne pourrait acceder qu'a son propre espace ou a la partie commune des membres inscrits et identifies.