Combinación de archivos ordenados con fifos

Question

Tengo algunos archivos clasificados y descomprimidos en un directorio. ¿Cómo combino algunos de ellos en otro archivo ordenado y comprimido? En este momento estoy usando fifos explícitos. ¿Hay alguna manera de hacerlo en Bash sin? Soy un poco novato bash, así que disculpen mi falta de estilo.

#!/bin/bash 
# Invocation ./merge [files ... ] 
# Turns an arbitrary set of sorted, gzipped files into a single sorted, gzipped file, 
# printed to stdout. Redirect this script's output! 
for f in $@ 
do 
    mkfifo $f.raw 
    gzcat $f > $f.raw & 
    # sort -C $f.raw 
done 
sort -mu *.raw | gzip -C# prints to stdout. 
rm -f *.raw 

Busco a convertir esto en algo así como ...

sort -mu <(gzcat $1) <(gzcat $2) <(gzcat $3) ... | gzip -9C# prints to stdout. 

... pero no saben cómo. ¿Necesito un bucle para construir los parámetros en la cadena? ¿Hay algún tipo de atajo mágico para esto? ¿Tal vez map gzcat $@?

NOTA: Cada uno de los archivos supera los 10 GB (y 100 GB descomprimidos). Tengo una unidad de 2TB, así que esto no es realmente un problema. Además, este programa DEBE ejecutarse en O (n) o se vuelve inviable.

Answer 1

Puede combinar eval y 'proceso de sustitución' con Bash. Suponiendo que los nombres de los archivos básicos no contienen espacios (que, teniendo en cuenta que se utiliza en lugar de $@"$@" es probablemente el caso), entonces algo como:

cmd="sort -mu" 
for file in "$@" 
do cmd="$cmd <(gzip -cd $file)" 
done 
eval $cmd | gzip -c9 > outputfile.gz 

También se puede utilizar en lugar de bash -c "$cmd"eval $cmd en la última línea . Si hay espacios en los nombres de los archivos, debe trabajar un poco más. Esto funciona si los nombres no contienen comillas simples:

cmd="sort -mu" 
for file in "$@" 
do cmd="$cmd <(gzip -cd '$file')" 
done 
eval $cmd | gzip -c9 > outputfile.gz 

con comillas simples en los nombres de archivo también, usted tiene que trabajar mucho más duro.

Answer 2

Para mí, su pregunta es un poco confuso, pero si entiendo su necesidad, intente esto:

gunzip -c file1 file2 .... | sort | gzip -9 > mergedFile.gz 

Si usted quiere hacer todos los archivos de un tipo determinado en 1 dir, a continuación, puede utilizar file*.type como la lista de entrada a gunzip; de lo contrario, según mi ejemplo, tendrá que listar cada archivo explícitamente.

La opción -c indica 'enviar la salida a la salida estándar', que es el leído por el tubo, enviado a sort, que envía su salida a la salida estándar, la tubería, y en gzip, con ella la salida estándar está siendo redirigido hacia el final del archivo . El es la compresión más alta, que le proporciona el archivo más pequeño (para gzip), pero lleva más tiempo. Puede dar un número explícito entre -1 y -9 para ajustar el tamaño/tiempo de compresión para comprimir la compensación según sus necesidades.

Espero que esto ayude.

Answer 3

Con comillas simples en los nombres de los archivos también, tiene que trabajar mucho más.

Aquí hay una manera de evitar comillas simples dentro de los nombres de archivo (o rutas de archivos) que obtendrán eval 'ed en variables rodeadas por comillas simples.

(
esc="'\''" 
file="/Applications/iWork '09/Pages.app" 
file="${file//\'/${esc}}" 
#echo "'${file}'"; ls -bdl "'${file}'" 
evalstr="echo '${file}'; ls -bdl '${file}'" 
#set -xv 
eval "${evalstr}" 
)