Page 1 sur 1

Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 10 déc. 2016, 14:45
par yoann38
Salut à tous.
J'aimerais savoir comment s'y prendre de façon à supprimer complétement un site d'internet.
Faut il créer un robots.txt particulier
via le htaccess
ou autre
Environ 75.000 pages indexées à ce jour

Merci pour vos solutions

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 10 déc. 2016, 19:53
par @rthur
Bonjour,

Juste un robots.txt :
http://robots-txt.com/ressources/robots ... allow-all/

Et si tu veux que ce soit quasi-immédiat dans Google, il faut te connecter à la Google Search Console et demander une désindexation :
https://support.google.com/webmasters/a ... 3419?hl=fr

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 11 déc. 2016, 21:42
par yoann38
Salut alors effectivement le premier est lien est tout simple.
Le problème c'est qu'il va falloir que j'attendant que google repasse sur mes pages web pour que ce robots.txt soit appliqué et il à justement du mal à aller sur certaines page, dernière indexation de page il y a environ 5 mois pour certaines...donc très moyen.

Et l'autre lien ( le second ) apparament il faut supprimer les urls une par une j'ai 70.000 pages, donc un peut délicat.....
Un peut dépité du coup par tout ca

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 12 déc. 2016, 00:46
par @rthur
Salut alors effectivement le premier est lien est tout simple.
Le problème c'est qu'il va falloir que j'attendant que google repasse sur mes pages web pour que ce robots.txt soit appliqué et il à justement du mal à aller sur certaines page, dernière indexation de page il y a environ 5 mois pour certaines...donc très moyen.
Pas du tout, il suffit qu'il repasse une seule fois sur n'importe quelle page et il va forcément prendre en compte le robots.txt qui va donc s'appliquer à tous le site et pas uniquement à la page qu'il était venu mettre à jour.
Et l'autre lien ( le second ) apparament il faut supprimer les urls une par une j'ai 70.000 pages, donc un peut délicat.....
Un peut dépité du coup par tout ca
A vérifier (et même à tester) car il me semble qu'on peut indiquer un répertoire racine

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 14 déc. 2016, 12:02
par yoann38
Bonjour, bonjour,
Je vois ton message :
Pas du tout, il suffit qu'il repasse une seule fois sur n'importe quelle page et il va forcément prendre en compte le robots.txt qui va donc s'appliquer à tous le site et pas uniquement à la page qu'il était venu mettre à jour.
Je vois que les robots passe tous les jours sur le site, donc si je comprends bien je met dans mon htaccess uniquement:
User-agent: *
Disallow: /
Mon site disparait d'internet ?
Si c'est le cas c'est le top, t'es sur de la technique ?
Je souhaite que le site n'apparaisse plus dans les serps google, bing...

Merci encore pour tout

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 14 déc. 2016, 12:30
par @rthur
Oui, fais les 2 actions robots.txt + demande à Google de désindexation et ça va le faire.

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 14 déc. 2016, 12:41
par yoann38
oki je te remercie ;)
je vous tiens au courant si ça marche et au bout de combien de temps si ça peut aider quelqu'un

Re: Desindexé des moteurs de recherche via robots.txt et htacces

Posté : 24 janv. 2017, 18:52
par yoann38
Salut, salut,
Bon alors voilà je cherche toujours à supprimer un ancien site des moteurs de recherche.

Donc pour cela j'ai donc créer 2 fichiers:
htacess et htpassword:

htacess.
AuthName "Site en maitenance"
AuthType Basic
AuthUserFile "/home/site/www/.htpasswd"
Require valid-user
Donc avec les lignes ci-dessus je bloque l'acces à l'emsemble du site sauf si on rentre le mot de passe qui vasa bien

.htpasswd.txt
jean:test
Si le mot de passe est jean on accéde au site

Maintenant j'aimerais autorisé uniquement l'acces à ma page home.
Comment procédé svp.

J'ai suivi les recommandations de google pour supprimer un site, car si je tape juste : /
Google nous dit :

Important ! Cela supprimera toutes les pages du site http://monsite.fr/ de nos résultats de recherche pendant au moins 90 jours.
Pour empêcher définitivement une page de s'afficher dans nos résultats de recherche, supprimez la page de votre site, protégez-la avec un mot de passe ou ajoutez une balise NOINDEX à cette dernière et autorisez Googlebot à l'explorer.
Merci pour vos avis et conseils à tous