python: leer líneas de archivos de texto comprimido

Question

¿Es fácil leer una línea de un archivo de texto comprimido en gz usando python sin extraer el archivo por completo? Tengo un archivo text.gz que tiene 200mb de aroud. Cuando lo extraigo, se convierte en 7.4 gb. Y este no es el único archivo que tengo que leer. Para el proceso total, tengo que leer 10 archivos. Aunque este será un trabajo secuencial, creo que será inteligente hacerlo sin extarctuar toda la información. Ni siquiera sé que es posible. ¿Cómo se puede hacer usando Python? Necesito leer un archivo de texto línea por línea.

Answer 1

¿Has probado a usar gzip.GzipFile? Los argumentos son similares a open.

Answer 2

Puede usar el módulo gzip estándar en python. Simplemente use:

gzip.open('myfile.gz') 

para abrir el archivo como cualquier otro archivo y leer sus líneas.

Más información aquí: Python gzip module

Answer 3

Usando gzip.GzipFile:

import gzip 

with gzip.open('input.gz','r') as f: 
    for line in f: 
     print('got line', line) 

Nota : para python3 tiene que especificar el archivo que se abrirá en 'rt', como 'r' por defecto a la lectura binaria, o de lo contrario, use line.decode(...).

Nota : gzip.open(filename, mode) es un alias de gzip.GzipFile(filename, mode). Prefiero el primero, ya que se parece al with open(...) as f: utilizado para abrir archivos sin comprimir.