¿Puedo utilizar parte del hash MD5 para la identificación de datos?

Question

Uso MD5 hash para identifying files with unknown origin. No hay atacante aquí, así que no me importa si el MD5 se ha roto y uno puede generar colisiones intencionalmente.

Mi problema es que necesito proporcionar el registro para que los diferentes problemas sean diagnosticados más fácilmente. Si registro cada hash como una cadena hexadecimal que es demasiado larga, inconveniente y se ve fea, me gustaría acortar la cadena hash.

Ahora sé que solo toma una pequeña parte de un GUID is a very bad idea - Los GUID están diseñados para ser únicos, pero parte de ellos no lo son.

Es lo mismo para MD5 - ¿Puedo decir, por ejemplo, los primeros 4 bytes de MD5 y supongo que solo tengo una probabilidad de colisión mayor debido a la cantidad reducida de bytes en comparación con el hash original?

Answer 1

La respuesta corta es sí, puede utilizar los primeros 4 bytes como un id. Cuidado con la paradoja del cumpleaños embargo:

http://en.wikipedia.org/wiki/Birthday_paradox

El riesgo de una colisión aumenta rápidamente a medida que agrega más archivos. Con 50,000, hay aproximadamente un 25% de probabilidad de que consigas una colisión de identificación.

EDIT: Ok, acaba de leer el enlace a su otra pregunta y con 100.000 archivos la probabilidad de colisión es de aproximadamente el 70%.

Answer 2

Aquí es un tema relacionado que puede referirse a

What is the probability that the first 4 bytes of MD5 hash computed from file contents will collide?

Answer 3

Otra forma de acortar el hash es convertirlo en algo más eficiente que HEX como Base64 o alguna variante del mismo.

Incluso si está decidido a tomar 4 caracteres, tomar 4 caracteres de base64 le da más bits que el hexadecimal.