Merci jean-monique pour ce partage, effectivement ça semble une très bonne trouvaille.
Je mets le lien direct vers la librairie sur github : https://github.com/neitanod/forceutf8

http://stackoverflow.com/questions/910793/detect-encoding-and-make-everything-utf-8
=> y'a une bibliotèque qui peut changer la vie des gens qui font du scrapping en bourrins \o/ yeah

Ben à coup de strpos ou d'expression régulière, dès qu'on trouve un des double char caracteristique, on double décode.
à la réflexion c'est pas si sale.

Ben classer les sources c'est relou, vu que (y'a pas que du propre partout) elles sont parfois héterogènes (oui, "arrrg" est le tèrme technique ici de circonstance), et surtout, je voudrais ajouter des sources à la volé sans me poser de questions.

Ma solution fonctionne, je suis juste integriste du propre, ça me chiffonne un peu... j'en resterai là :p

[quote="jean-monique"]les 5% restant j'ai des aberrations: des chaînes dont l'encodage est UTF-8, mais qui en vérité sont double-encodées => héhé .

Je fais du scrapping, je n'ai donc pas de contrôle sur les données sources. J'ai juste à un moment des é dans une chaine dont l'encodage est UTF-8.[/quote]
Tu ne peux pas y faire grand chose...
Tenter d'exploiter un plat de spaghettis...
Je ne vois que gérer des règles en fonction des sources si ces dernières renvoient toujours des chaînes mal encodées.
Pour celle qui encode double => décodage double, ect

Et si tu ne peux pas classer tes sources ainsi...
Tu crois toujours au père-noël ? :roll:

Je vais reformuler mon problème.

Je traite des données d'un grand nombre de sources.
95% du temps, avec de l'entête, des données meta, je retombe sur les pâtes
les 5% restant j'ai des aberrations: des chaînes dont l'encodage est UTF-8, mais qui en vérité sont double-encodées => héhé .

Je fais du scrapping, je n'ai donc pas de contrôle sur les données sources. J'ai juste à un moment des é dans une chaine dont l'encodage est UTF-8.

<?PHP
mb_internal_encoding("UTF-8");
error_reporting(E_ALL);
$i = "chaîne";
$z =mb_detect_encoding("$i", "UTF-8, ISO-8859-1, " ,TRUE);

print "$z $i";
mb_internal_encoding("UTF-8");
$converti = mb_convert_encoding($i, "UTF-8", $z);
print "$converti";
?>

Exemple développé:

[php]<?PHP
mb_internal_encoding("UTF-8");
error_reporting(E_ALL);
$i = "chaîne";
$z =mb_detect_encoding("$i", "UTF-8, ISO-8859-1, " ,TRUE);

print "$z $i";
mb_internal_encoding("UTF-8");
$converti = mb_convert_encoding($i, "UTF-8", $z);
print "$converti";
?>[/php]

évidemment s'il y a beaucoup de chaines...

As-tu essayé avec le donnée originale plutôt qu'un copier/coller ?
En effet ce que tu postes ici ce sont deux chaînes dans le même encodage. ;)
A savoir celui du forum.
Si je les prends et que je les enregistre dans un fichier j'aurai alors un nouvel encodage (et ce pour les deux chaînes), à savoir celui du fichier.

Bref le mb_detect_encoding est la bonne méthode mais il faut l'utiliser sur l'originale.

            var_dump(mb_detect_encoding('Comprimés'));
            var_dump(mb_detect_encoding('Comprimés'));

Oui... sauf que mon soucis c'est que l'encodage interne de ma string est pas le bon :/
essaye donc
[php]
var_dump(mb_detect_encoding('Comprimés'));
var_dump(mb_detect_encoding('Comprimés'));
[/php]

La solution est forcément de plus haut niveau, de l'ordre de la rustine... ou alors ?
Je ne vois pas... si tu as un snippet de code qui fait proprement ce que je veux, je suis preneur.

La bibliothèque mb est tout à fait pour ce genre de problème :
- détection d'encodage
- conversion d'un encodage à un autre

http://fr2.php.net/manual/en/ref.mbstring.php

Bonjour,

Je suis sur un projet qui crawl des pages de divers (beaucoup) de sources, et je me rends compte que, même en prenant les entêtes et les balises meta en considérations, je me retrouve toujours avec des caractéres forts disgracieux :).

La solution pour laquelle j'ai opté: une bonne belle expression régulière bien moche ! (pléonasme ?)

Comment remédieriez vous à ce problème (je cherche la manière la plus propre possible)?

pour info php5.5, symfony 2 doctrine 2 (j'ai cherché s'il existait des helpers pour ça, manifestement pas

merci !