PHPfrance

la communauté d'entraide francophone dédiée au PHP

web crawlers et indexation: quel language pour le web

Répondre


Cette question est un moyen d’empêcher des soumissions automatisées de formulaires par des robots.
Smileys
:D :) :( :o :shock: :? 8-) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen: =D> #-o =P~ :^o :non: :priere: 8-|
Voir plus de smileys
  Revue du sujet
 

  Étendre la vue Revue du sujet : web crawlers et indexation: quel language pour le web

par choubix » 17 janv. 2008, 02:34

bonjour a tous 2 et merci de vos reponses

hum, en l'occurence c'est pour faire du web pur: crawling de sites, indexation du contenu le tout de maniere auto ou au cas par cas (facon comparateur de prix)

par Sékiltoyai » 17 janv. 2008, 01:50

+1, en plus des librairies plutôt nombreuses à ce qu'il paraît, et une bonne intéraction avec le système, c'est utile quand on ne cherche pas à faire du web pur.

Edit : Par contre c'est de l'interprété aussi, donc t'attend pas à des performances de ouf malade…

par Genova » 17 janv. 2008, 00:54

Bonsoir,
il te faut un langage qui te permette de faire :
- des requêtes HTTP (donc support des sockets)
- une analyse de la page (avec des regexp par exemple)

Donc a mon avis, perl sera adapté.

web crawlers et indexation: quel language pour le web

par choubix » 17 janv. 2008, 00:29

bonjour,

je suis assez epate par ce qu'il est possible de faire compte tenu de toute l'information que le web contient. donc: je me suis interesse a Curl. mais de ce que j'ai lu c'est bien pour des petits projets seulement.

je me demandais quel etait le meilleur language pour faire des spiders ou web crawlers pour le web et faire de l'indexation.


merci!