Forum d'entraide PHPFrance

Bonjour,


J'ai décidé de laisser un message ici après plusieurs heures à farfouiller un peu partout.

Mon serveur force l'utilisation de l'UTF-8 dans php.ini. Ici apparemment, ça pose problème.

Voici ma source (en partie) :

if (isset($_GET['step']) && $_GET['step'] == 1)
{
	$time_start = microtime(true);
	$i = 0;
	echo '<p>Insertion des <i>Kanji</i><br />';
	foreach ($xml->character as $char)
	{
		$i++;
		$literal = $char->literal;
		//$literal = utf8_to_html($char->literal);
		//$literal = mb_convert_encoding($char->literal, "latin1", "UTF-8");
		//mysql_query("SET NAMES 'latin1'");
		//$literal = utf8_decode($literal);
		echo $literal .'<br>';
		
		$sql = 'INSERT INTO `dico_kanji` ( `id` , `literal` ) VALUES (NULL , "'. $literal .'");';
		if (isset($_GET['action']) && $_GET['action'] == 1) $req = @mysql_query($sql) or die('Erreur SQL !<br>'. $sql .'<br>'. mysql_error());
		//echo '<img src="../images/bar.gif" alt="bar"/>';
	}
	$time_end = microtime(true);
	$time = round($time_end - $time_start,2);
	echo '<br />
	<i>Kanji</i> insérés avec succès ('. $i .' entrées) <font color="grey">'. $time .' sec.</font></p>';
	if (isset($_GET['action']) && $_GET['action'] == 1)
	{
		echo '<a href="./kanjidic2.php?action=1&step=2">Etape suivante</a>';
	}
	else
	{
		echo '<a href="./kanjidic2.php?step=2">Etape suivante</a>';
	}
}

Alors, je vous explique ma démarche :

Il y a un document XML que je dois parser, il n'y a pas de souci à ce niveau. Je le fais avec simpleXML.

Les entrées "literal" sont des caractères japonais encodées en UTF-8. Apparemment, il y a un souci quand l'UTF-8 est forcé, soit disant il part du principe que l'encodage de base est latin1 (cp1252) et du coup, il encode une seconde fois en UTF-8, ce qui donne un résultat incorrect.

Voici plus de détail sur le problème :

http://dev.mysql.com/doc/refman/5.1/en/ ... -sets.html


Ils indiquent de faire un dump mais moi je ne veux pas faire ça ! Je veux convertir à la volée et injecter l'enregistrement dans la BDD.

Je suis sur que c'est trois fois rien à faire, mais j'en ai un peu marre. Merci de m'accorder un peu de votre temps !

Salut,

Tu peux filer ton fichier XML et la stucture de ta table (create table ...) ?



Tracker.

Salut Tracker ! Merci de m'accorder un peu de ton temps.

Voici la structure :

Concernant le XML, il est un peu gros (15 Mo), mais ça devrait aller vite à l'époque du haut débit

http://www.grossebertha.net/database/di ... jidic2.xml (note le super nom de domaine)

Re,

Bon j'ai mis un peu de temps, l'entête de ton fichier xml ne contient pas la balise 'encoding', mais ça n'a pas d'incidence quand tu charges le fichier via SimpleXML.

En fait tu oublies simplement d'indiquer à MySQL l'encodage des caractères que tu lui transmets.
J'ai fait un test qui fonctionne avec le code suivant:

header('Content-type: text/html; charset=utf-8');
$cnx = mysql_connect('localhost','root','');
mysql_select_db('test1',$cnx);

//Ligne à ajouter <<--------------------------------------------
mysql_query("set names 'utf8'");
	
$time_start = microtime(true);
$i = 0;

echo '<p>Insertion des <i>Kanji</i><br />';

$xml = simplexml_load_file('c:\\downloads\\kanjidic2.xml');
foreach ($xml->character as $char)
{
    $i++;
    $literal = $char->literal;
    echo $literal.'<br/>';
        
    $sql = 'INSERT INTO `dico_kanji` (`literal` ) VALUES ("'. $literal .'");';
    $req = mysql_query($sql) or die('Erreur SQL !<br>'. $sql .'<br>'. mysql_error());
}
$time_end = microtime(true);
$time = round($time_end - $time_start,2);

echo '<br />
<i>Kanji</i> insérés avec succès ('. $i .' entrées) <font color="grey">'. $time .' sec.</font></p>';
?>

Par contre tes caractères ne sont pas forcement visibles (remplacés par des carrés dans IE, ou des ? dans FF) si aucun glyph correspondant n'est disponible dans la police d'affichage.
Les Kanjis sont utilisables avec cette police

Rq1:
Un truc est étrange: tous tes champs en base sont NOT NULL, sans valeur par défaut, et on arrive quand même à inserer des lignes en ne donnant que le champ 'litéral' ??!! C'est sûrement le moteur MyISAM qui le permet, c'est n'importe quoi...

Rq2:
Attention à enregistrer ton code php en uft8, sinon les caractères accentuées tapés en dur à l'intérieur seront érronnés.


Tracker.

Re-bonjour,


Je n'ai pas eu le temps de m'y mettre ces jours-ci. Ton script fonctionne parfaitement, merci pour ton aide une fois de plus.

J'espère que ça servira à d'autres.

Une petite remarque supplémentaire que j'ai remarqué après coup. Ca peut sembler évident aux anciens mais je ne savais pas que :

ISO-8859-1 = latin1 = cp1252


Je pensais que l'iso était encore autre chose, et ça m'a posé problème.

Une petite remarque supplémentaire que j'ai remarqué après coup. Ca peut sembler évident aux anciens mais je ne savais pas que :

ISO-8859-1 = latin1 = cp1252


Je pensais que l'iso était encore autre chose, et ça m'a posé problème.

pas tout à fait,
je crois que c'est: ISO-8859-1 = latin1_swedish = cp1252
c'est pour ça que c'est le réglage par défaut de mysql


Tracker.