RSync archivo único (archivo) que cambia cada vez

Question

Estoy trabajando en una utilidad de copia de seguridad de código abierto que realiza copias de seguridad de archivos y los transfiere a varias ubicaciones externas como Amazon S3, Rackspace Cloud Files, Dropbox y servidores remotos a través de FTP/Protocolos SFTP/SCP.

Ahora, he recibido una solicitud de funciones para realizar copias de seguridad incrementales (en caso de que las copias de seguridad realizadas sean grandes y su transferencia y almacenamiento sean caros). He estado buscando y alguien mencionó la utilidad rsync. Realicé algunas pruebas con esto, pero no estoy seguro si esto es adecuado, por lo que me gustaría saber de alguien que tenga experiencia con rsync.

Déjeme darle un resumen rápido de lo que sucede cuando se realiza una copia de seguridad. Básicamente comenzará a descargar bases de datos como MySQL, PostgreSQL, MongoDB, Redis. Puede tomar algunos archivos regulares (como imágenes) del sistema de archivos. Una vez que todo esté en su lugar, lo empaquetará todo en un solo .tar (adicionalmente lo comprimirá y encriptará usando gzip y openssl).

Una vez que todo esté hecho, tenemos un único archivo que tiene este aspecto:
mybackup.tar.gz.enc

Ahora quiero transferir este archivo a una ubicación remota. El objetivo es reducir el ancho de banda y el costo de almacenamiento. Asumamos que este pequeño paquete de respaldo tiene un tamaño aproximado de 1GB. Entonces usamos rsync para transferir esto a una ubicación remota y eliminar la copia de seguridad de archivos localmente. Mañana se generará un nuevo archivo de respaldo, y resulta que se han agregado muchos más datos en las últimas 24 horas, y construimos un nuevo archivo mybackup.tar.gz.enc y parece que tenemos un tamaño de hasta 1.2GB.

Ahora, mi pregunta es: ¿es posible transferir solo el 200MB que se agregó en las últimas 24 horas? Probé el siguiente comando:

rsync -vhP --append mybackup.tar.gz.enc backups/mybackup.tar.gz.enc

El resultado:

mybackup.tar.gz.enc 1,20 g 100% 36.69MB/s 0:00:46 (Xfer # 1 , a-check = 0/1)

envió 200.01M bytes
recibieron 849.40K bytes
bytes 8.14M/seg
total de tamaño es 1,20 g
aceleración es 2,01

Mirando el sent 200.01M bytes yo diría que el "añadiendo" de los datos funcionaba correctamente. Lo que me pregunto ahora es si transfirió el 1.2GB completo para averiguar cuánto y qué anexar a la copia de seguridad existente, o ¿realmente transfirió el 200MB? Porque si se transfiere el entero 1.2GB, entonces no veo cómo es muy diferente al uso de la utilidad scp en archivos grandes individuales.

Además, si lo que estoy tratando de lograr es posible, ¿qué banderas me recomiendan? Si no es posible con rsync, ¿hay alguna utilidad que pueda recomendar utilizar?

¡Cualquier comentario es muy apreciado!

Answer 1

Envió solo lo que dice que envió - solo la transferencia de las piezas modificadas es una de las principales características de rsync. Utiliza algunos rather clever checksumming algorithms (y envía esas sumas de comprobación a través de la red, pero esto es insignificante - varios órdenes de magnitud menos de datos que la transferencia del archivo en sí; en su caso, supongo que es el .01 en 200.01M) y solo transfiere esas partes necesita.

Tenga en cuenta también que ya hay herramientas de copia de seguridad bastante potentes basadas en rsync, es decir, Duplicity. Dependiendo de la licencia de su código, puede valer la pena ver cómo lo hacen.

Answer 2

La naturaleza de gzip es tal que pequeños cambios en el archivo de origen pueden dar lugar a cambios muy grandes en el archivo comprimido resultante: gzip tomará sus propias decisiones cada vez sobre la mejor forma de comprimir los datos que le proporcione.

Algunas versiones de gzip tienen el interruptor --rsyncable que establece el tamaño de bloque que funciona gzip al mismo que rsync, lo que resulta en una compresión ligeramente menos eficiente (en la mayoría de los casos) pero limita los cambios al archivo de salida al misma área del archivo de salida que los cambios en el archivo de origen.

Si no está disponible para usted, generalmente es mejor sincronizar el archivo sin comprimir (utilizando la propia compresión de rsync si se considera el ancho de banda) y comprimirlo al final (si se considera espacio en el disco). Obviamente, esto depende de los detalles de su caso de uso.

Answer 3

Nuevo rsync --append ROMENTARÁ el contenido de su archivo, si hay algún cambio en sus datos existentes. (Desde 3.0.0)