Analyse du header HTTP d'une page externe.
Posté : 15 juil. 2010, 18:13
Salut,
possédant un annuaire contenant plus dune dizaine de milliers de liens, je cherche à scanner les sites inscrits morts ou redirigeant ailleurs.
J'utilisais donc le soft xenu et même dernièrement linkexaminer qui est même encore mieux. Mais pour limiter les attaques ddos et autres trucs du genre, l'hébergeur limite le nombre de requêtes pour une même ip/24H.
Je me vois donc contraints à me dev un petit bout de code php pour scanner les urls présentent dans la bdd, et ca ca ira sans soucis, seulement la ou je bloque total même après avoir lu la RCF, c'est comment interpréter les header status justement.
En bref je veux me faire ce genre d'outils qui tourne en boucle et me sorts les sites par type de status:
http://www.webrankinfo.com/outils/header.php
Y aurait il une commande précise pour checker le status d'une page ?
Par avnce, merci.
possédant un annuaire contenant plus dune dizaine de milliers de liens, je cherche à scanner les sites inscrits morts ou redirigeant ailleurs.
J'utilisais donc le soft xenu et même dernièrement linkexaminer qui est même encore mieux. Mais pour limiter les attaques ddos et autres trucs du genre, l'hébergeur limite le nombre de requêtes pour une même ip/24H.
Je me vois donc contraints à me dev un petit bout de code php pour scanner les urls présentent dans la bdd, et ca ca ira sans soucis, seulement la ou je bloque total même après avoir lu la RCF, c'est comment interpréter les header status justement.
En bref je veux me faire ce genre d'outils qui tourne en boucle et me sorts les sites par type de status:
http://www.webrankinfo.com/outils/header.php
Y aurait il une commande précise pour checker le status d'une page ?
Par avnce, merci.
