Analizando archivos mbox en Python

Question

Python novato aquí. Quiero recorrer un gran archivo mbox, analizar los mensajes de correo electrónico. Puedo hacer eso con:

import sys 
import mailbox 

def gen_summary(filename): 
    mbox = mailbox.mbox(filename) 
    for message in mbox: 
     subj = message['subject'] 
     print subj 

if __name__ == "__main__": 
    if len(sys.argv) != 2: 
     print 'Usage: python genarchivesum.py mbox' 
     sys.exit(1) 

    gen_summary(sys.argv[1]) 

Pero necesito más control. Necesito poder obtener la posición de bytes del inicio de un correo electrónico dado en el archivo mbox y también necesito obtener el número de bytes en el mensaje (como se representa en el disco). Y luego, en el futuro, en lugar de iterar desde el principio del archivo mbox, necesito poder buscar un mensaje determinado y analizarlo (de ahí una de las necesidades de obtener la posición de byte en el disco). Estos son grandes archivos mbox y la eficiencia es una preocupación.

El propósito de todo esto es que puedo generar un archivo de resumen, que contiene algunos pequeños bits sobre cada correo electrónico en el mbox, y luego, en el futuro, buscar eficientemente los correos electrónicos individuales dentro del mbox.

Answer 1

No he probado esto, pero algo como esto podría funcionar para usted. Simplemente abra el archivo (en modo binario para que sus recuentos de bytes sean correctos), y escanee a través de él, buscando mensajes.

def is_mail_start(line): 
    return line.startswith("From ") 

def build_index(fname): 
    with open(fname, "rb") as f: 
     i = 0 
     b = 0 
     # find start of first message 
     for line in f: 
      b += len(line) 
      if is_mail_start(line): 
       break 
     # find start of each message, and yield up (index, length) of previous message 
     for line in f: 
      if is_mail_start(line): 
       yield (i, b) 
       i += b 
       b = 0 
      b += len(line) 
     yield (i, b) # yield up (index, length) of last message 

# get index as a list 
mbox_index = list(build_index(fname)) 

Una vez que tenga el índice, puede utilizar el método .seek() en un objeto de archivo para buscar allí, y .read(length) en el objeto de archivo para leer un solo mensaje. Aunque no estoy seguro de cómo usará el módulo mailbox con una cadena; Creo que está destinado a trabajar en un buzón en el lugar. Tal vez haya algún otro módulo de análisis de correo electrónico que pueda usar.