par
Sékiltoyai » 02 déc. 2008, 01:23
Oui, en effet, parce que cela ne veut pas dire 20 000 lectures, cela veut dire 20 000 * 20 000 lectures.
J'aurais donc tendance à te conseiller d'étudier la solution suivante :
Le fichier qui ne bouge pas, tu l'entres dans une base de données. Le second, deux solutions :
- Soit tu dois effectuer le traitement peu souvent (une fois par heure, ou à la rigueur une fois toutes les 10 minutes), et du coup tu peux le rentrer en base à chaque fois.
- Soit à chaque fois que tu récupères le fichier, il n'a pas beaucoup changé, et tu peux étudier l'utilisation d'un différentiel entre les deux fichiers (attention, je ne sais pas ce que cela donne niveau performances), on verra après si tu es intéressé.
Tu alimentes alors une nouvelle table. Tu utilises des requêtes SQL pour comparer les deux. Avec des index bien faits, tu peux améliorer substanciellement la complexité algorithmique (performance) de tes opérations.
Après, détail technique, comment entrer un fichier CSV en base, tu peux aller voir du côté de la requête LOAD DATA FROM FILE.
Oui, en effet, parce que cela ne veut pas dire 20 000 lectures, cela veut dire 20 000 * 20 000 lectures.
J'aurais donc tendance à te conseiller d'étudier la solution suivante :
Le fichier qui ne bouge pas, tu l'entres dans une base de données. Le second, deux solutions :
- Soit tu dois effectuer le traitement peu souvent (une fois par heure, ou à la rigueur une fois toutes les 10 minutes), et du coup tu peux le rentrer en base à chaque fois.
- Soit à chaque fois que tu récupères le fichier, il n'a pas beaucoup changé, et tu peux étudier l'utilisation d'un différentiel entre les deux fichiers (attention, je ne sais pas ce que cela donne niveau performances), on verra après si tu es intéressé.
Tu alimentes alors une nouvelle table. Tu utilises des requêtes SQL pour comparer les deux. Avec des index bien faits, tu peux améliorer substanciellement la complexité algorithmique (performance) de tes opérations.
Après, détail technique, comment entrer un fichier CSV en base, tu peux aller voir du côté de la requête LOAD DATA FROM FILE.