MySQL - Eliminación de duplicados y preservación de datos valiosos?

Question

Escenario: Tengo pocos contactos duplicados en una tabla. Los duplicados están identificados, puedo eliminarlos pero el problema es que no quiero perder los datos que el duplicado podría tener y los originales no. ¿Algun consejo? datos

muestra:

ID Name Email School Dupe_Flag Key 
1 AAA a@a   X   1 
2 AAB  JKL    1 
3 BBB b@b MNO X   2 
4 BBC       2 

salida deseada:

ID Name Email School Dupe_Flag Key 
1 AAA a@a   X   1 
2 AAB a@a JKL    1 
3 BBB b@b MNO X   2 
4 BBC b@b MNO    2 

cómo se relacionan 2 registros? : Ambos tienen el mismo valor de clave con solo una columna que tiene el Dupe_Flag SET que es la columna duplicada.

En el caso de la identificación por encima de 1 va a ser eliminado, pero Información de correo electrónico de identificación 1 debe ser aplicado a Identificación 2.

¿Qué son los datos? : Tengo pocas cientos filas y pocos 100 duplicados. La instrucción UPDATE para cada fila es engorrosa y no es factible.

Las reglas de negocio para determinar qué datos tiene prioridad:

Si una columna del registro original/bueno (Dupe_Flag NO está establecido) no tiene datos y si el registro Dupe correspondiente (tiene el mismo valor de clave) la columna tiene datos entonces esa columna de registro original debe actualizarse.

¡Cualquier ayuda/script es realmente apreciada! Gracias chicos :)

Answer 1

No conozco los detalles de este problema, pero probablemente sea mejor evitar este problema estableciendo las columnas como "únicas", por lo que si una consulta intenta crear un duplicado, fallará. Creo que la solución elegante a este problema es evitarlo en el momento de la entrada de datos.

me gusta usar esta consulta para la localización de duplicados:

select * from table group by `Email` having count(Email) > 1 

Answer 2

Las filas son únicos, así que no hay problema. Por favor vuelva a verificar sus datos de ejemplo.

Answer 3

Si bien esto utiliza un grupo de SELECT anidados, y no es realmente una solución completa, debería provocar otra cosa, o posiblemente empujar en la dirección correcta.

select * from 
    (select r1.ID,r1.Name,coalesce(r1.Email,r2.Email) as Email, 
    coalesce(r1.School,r2.School) as School,r1.Dupe_Flag,r1.Key from 
    (select * from test1 where Dupe_Flag IS NULL) as r1 left outer join 
    (select * from test1 where Dupe_Flag IS NOT NULL) as r2 on r1.KEY=r2.Key) 
as results 

Rendimiento:

ID Name Email School Dupe_Flag Key 
2 AAB a@a JKL  NULL  1 
4 BBC b@b MNO  NULL  2 

Sobre la base de los datos de ejemplo.

Answer 4

Suponiendo que los valores vacíos son nulos, algo como esto debería devolver los datos deseados:

SELECT 
    a.ID, 
    IF(a.DupeFlag IS NULL, IF(a.Name IS NULL, b.Name, a.Name), a.Name) AS Name, 
    IF(a.DupeFlag IS NULL, IF(a.Email IS NULL, b.Email, a.Email), a.Email) AS Email, 
    IF(a.DupeFlag IS NULL, IF(a.School IS NULL, b.School, a.School), a.School) as School, 
    a.DupeFlag, 
    a.key 
FROM 
    table a, 
    table b 
WHERE 
    a.Key = b.Key AND 
    a.ID != b.ID 
GROUP BY 
    a.ID 

Tenga en cuenta que convertir esto en una sentencia UPDATE es bastante recta hacia adelante