Uso de csvreader contra un archivo comprimido en Python

Question

Tengo un montón de archivos CSV con gzip que me gustaría abrir para su inspección usando el lector CSV incorporado en Python. Me gustaría hacer esto sin tener que primero descomprimirlos manualmente en el disco. Supongo que de alguna manera quiero obtener una secuencia de los datos sin comprimir, y pasar esto al lector CSV. ¿Es esto posible en Python?

Answer 1

utilizar el módulo gzip:

with gzip.open(filename) as f: 
    reader = csv.reader(f) 
    #... 

Answer 2

una solución más completa:

import csv, gzip 
class GZipCSVReader: 
    def __init__(self, filename): 
     self.gzfile = gzip.open(filename) 
     self.reader = csv.DictReader(self.gzfile) 
    def next(self): 
     return self.reader.next() 
    def close(self): 
     self.gzfile.close() 
    def __iter__(self): 
     return self.reader.__iter__() 

ahora se puede utilizar de esta manera:

r = GZipCSVReader('my.csv') 
for map in r: 
    for k,v in map: 
     print k,v 
r.close() 

Answer 3

He probado la versión anterior para escribir y leer, y no funcionó en Python 3.3 debido a un error de "bytes". Sin embargo, después de un poco de prueba y error, pude hacer que funcionara lo siguiente. Tal vez también ayuda a los demás:

import csv 
import gzip 
import io 


with gzip.open("test.gz", "w") as file: 
    writer = csv.writer(io.TextIOWrapper(file, newline="", write_through=True)) 
    writer.writerow([1, 2, 3]) 
    writer.writerow([4, 5, 6]) 

with gzip.open("test.gz", "r") as file: 
    reader = csv.reader(io.TextIOWrapper(file, newline="")) 
    print(list(reader)) 

Como amohr indica, las siguientes obras, así:

import gzip, csv 

with gzip.open("test.gz", "wt", newline="") as file: 
    writer = csv.writer(file) 
    writer.writerow([1, 2, 3]) 
    writer.writerow([4, 5, 6]) 

with gzip.open("test.gz", "rt", newline="") as file: 
    reader = csv.reader(file) 
    print(list(reader))