¿Cómo eliminar los valores de htmlentities() de la base de datos?

Question

Mucho antes de saber algo, aunque no sé mucho, diseñé una aplicación web en php que insertaba datos en mi base de datos mysql después de ejecutar los valores en htmlentities(). Finalmente volví a mis sentidos y eliminé este paso y lo metí en la salida en lugar de hacerlo, y seguí mi camino feliz.

Sin embargo, he tenido que volver a visitar algunos de estos datos antiguos y, lamentablemente, tengo un problema, cuando se muestra en la pantalla obtengo valores que se htmlentitied de manera efectiva dos veces.

Entonces, ¿existe alguna forma de mysql o phpmyadmin de cambiar todas las filas antiguas afectadas por sus caracteres relevantes o tendré que escribir un script para leer cada fila, decodificar y actualizar las 17 millones de filas en 12 tablas?

EDIT:

Gracias por la ayuda de todos, escribí mi propia respuesta abajo con un poco de código en, no es bonito pero trabajaron en los datos de prueba de modo de restricción antes alguien señalando un error evidente en mi código Mientras estoy en la cama lo ejecutaré en una base de datos de respaldo mañana y luego en el vivo si funciona bien.

Answer 1

Terminé usando esto, no es bonito, pero estoy cansado, son las 2am y ¡hizo su trabajo! (Editar: en datos de prueba)

$tables = array('users', 'users_more', 'users_extra', 'forum_posts', 'posts_edits', 'forum_threads', 'orders', 'product_comments', 'products', 'favourites', 'blocked', 'notes'); 
foreach($tables as $table) 
    {  
     $sql = "SELECT * FROM {$table} WHERE data_date_ts < '{$encode_cutoff}'"; 
     $rows = $database->query($sql); 
     while($row = mysql_fetch_assoc($rows)) 
      { 
       $new = array(); 
       foreach($row as $key => $data) 
        { 
         $new[$key] = $database->escape_value(html_entity_decode($data, ENT_QUOTES, 'UTF-8')); 
        } 
       array_shift($new); 
       $new_string = ""; 
       $i = 0; 
       foreach($new as $new_key => $new_data) 
        { 
         if($i > 0) { $new_string.= ", "; } 
         $new_string.= $new_key . "='" . $new_data . "'"; 
         $i++; 
        } 
       $sql = "UPDATE {$table} SET " . $new_string . " WHERE id='" . $row['id'] . "'"; 
       $database->query($sql); 
       // plus some code to check that all out 
      } 
    } 

Answer 2

Como PHP era el método de codificación, querrá usarlo para decodificar. Puede usar html_entity_decode para convertirlos a sus caracteres originales. Tengo un lazo!

Solo tenga cuidado de no decodificar filas que no lo necesitan. No estoy seguro de cómo va a determinar eso.

Answer 3

Creo que escribir una secuencia de comandos php es algo bueno que hacer en esta situación. Puede usar, como dijo Dave, la función html_entity_decode() para convertir sus mensajes de texto.

Primero pruebe su secuencia de comandos en una tabla con algunas entradas. Esto le ahorrará mucho tiempo de prueba. Por supuesto, recuerde hacer una copia de seguridad de su mesa (s) antes de ejecutar el script php.

Me temo que no hay una posibilidad más corta. El cálculo para millones de filas sigue siendo bastante caro, sin importar cómo se conviertan los conjuntos de datos. Así que ir a un script php ... es la manera más fácil

Answer 4

Es un poco kludgy pero creo que la actualización masiva es la única manera de ir ...

$Query = "SELECT row_id, html_entitied_column FROM table"; 
$result = mysql_query($Query, $connection); 
while($row = mysql_fetch_array($result)){ 
    $updatedValue = html_entity_decode($row['html_entitied_column']); 
    $Query = "UPDATE table SET html_entitied_column = '" . $updatedValue . "' "; 
    $Query .= "WHERE row_id = " . $row['row_id']; 
    mysql_query($Query, $connection); 
} 

Esto se simplifica, ningún control de errores etc. No estoy seguro de cuál sería el tiempo de procesamiento en millones de filas, por lo que podría necesitar dividirlo en fragmentos para evitar el tiempo de espera de los scripts.

Answer 5

Tuve exactamente el mismo problema. Como tenía varios clientes ejecutando la aplicación en producción, quería evitar ejecutar un script PHP para limpiar la base de datos para cada uno de ellos.

Se me ocurrió una solución que está lejos de ser perfecta, pero que hace el trabajo sin dolor.

1. Realice un seguimiento de todos los puntos en su código donde usa htmlentities() antes de insertar datos, y elimínelos.

2. cambiar su "mostrar datos como HTML" método para algo como esto:

   html_entity_decode retorno (htmlentities ($ chaine, ENT_NOQUOTES), ENT_NOQUOTES);

El proceso de deshacer es algo ridículo, pero cumple su función. Y su base de datos se limpiará lentamente cada vez que los usuarios actualicen los datos incorrectos.

Answer 6

Esta es mi versión a prueba de balas. Se repite en todas las columnas de tablas y cadenas en una base de datos, determina la (s) clave (s) primaria (s) y realiza actualizaciones.

Está destinado a ejecutar el archivo php desde la línea de comandos para obtener información sobre el progreso.

<?php 
$DBC = new mysqli("localhost", "user", "dbpass", "dbname"); 
$DBC->set_charset("utf8"); 

$tables = $DBC->query("SHOW FULL TABLES WHERE Table_type='BASE TABLE'"); 
while($table = $tables->fetch_array()) { 
    $table = $table[0]; 
    $columns = $DBC->query("DESCRIBE `{$table}`"); 
    $textFields = array(); 
    $primaryKeys = array(); 
    while($column = $columns->fetch_assoc()) { 
     // check for char, varchar, text, mediumtext and so on 
     if ($column["Key"] == "PRI") { 
      $primaryKeys[] = $column['Field']; 
     } else if (strpos($column["Type"], "char") !== false || strpos($column["Type"], "text") !== false) { 
      $textFields[] = $column['Field']; 
     } 
    } 
    if (!count($primaryKeys)) { 
     echo "Cannot convert table without primary key: '$table'\n"; 
     continue; 
    } 
    foreach ($textFields as $textField) { 
     $sql = "SELECT `".implode("`,`", $primaryKeys)."`,`$textField` from `$table` WHERE `$textField` like '%&%'"; 
     $candidates = $DBC->query($sql); 
     $tmp = $DBC->query("SELECT FOUND_ROWS()"); 
     $rowCount = $tmp->fetch_array()[0]; 
     $tmp->free(); 
     echo "Updating $rowCount in $table.$textField\n"; 
     $count=0; 
     while($candidate = $candidates->fetch_assoc()) { 
      $oldValue = $candidate[$textField]; 
      $newValue = html_entity_decode($candidate[$textField], ENT_QUOTES | ENT_XML1, 'UTF-8'); 
      if ($oldValue != $newValue) { 
       $sql = "UPDATE `$table` SET `$textField` = '" 
        . $DBC->real_escape_string($newValue) 
        . "' WHERE "; 
       foreach ($primaryKeys as $pk) { 
        $sql .= "`$pk` = '" . $DBC->real_escape_string($candidate[$pk]) . "' AND "; 
       } 
       $sql .= "1"; 
       $DBC->query($sql); 
      } 
      $count++; 
      echo "$count/$rowCount\r"; 
     } 
    } 
} 
?> 

aplausos Roland