Analizando archivos de texto grandes, modificados sobre la marcha

Question

Necesito analizar un gran archivo CSV en tiempo real, mientras está siendo modificado (adjunto) por un proceso diferente. En general, me refiero a ~ 20 GB en este punto, y de crecimiento lento. La aplicación solo necesita detectar e informar ciertas anomalías en el flujo de datos, para lo cual solo necesita almacenar información de estado pequeño (O(1) espacio).

Estaba pensando en sondear los atributos del archivo (tamaño) cada dos segundos, abriendo un flujo de solo lectura, buscando la posición anterior, y luego continuando el análisis donde primero me detuve. Pero dado que este es un archivo de texto (CSV), obviamente necesito hacer un seguimiento de los caracteres de la nueva línea cuando continúo de alguna manera, para asegurarme de que siempre analizo una línea completa.

Si no me equivoco, esto no debería ser un problema para implementar, pero quería saber si hay una forma/biblioteca común que resuelva algunos de estos problemas.

Nota: No necesito un analizador CSV. Necesito información sobre una biblioteca que simplifica la lectura de líneas de un archivo que se modifica sobre la marcha.

Answer 1

Hay un pequeño problema aquí:

• leer y analizar CSV requiere un TextReader
• posicionamiento no funciona (bien) con TextReaders.

Pensamiento inicial: Mantenerlo abierto. Si ambos el productor y el analizador funcionan en modo no exclusivo Debería ser posible ReadLine-hasta-null, hacer una pausa, ReadLine-hasta-null, etc.

---

que debería ser de 7 bits ASCII , solo algunos GUID y números

Eso hace que sea factible para rastrear el archivo de posición (POS + = line.Length + 2). Asegúrese de abrirlo con . Luego puede volver a abrirlo como un flujo binario simple, buscar hasta la última posición y solo luego adjuntar un StreamReader a esa transmisión.

Answer 2

¿Por qué no acaba de derivar un proceso/hilo por separado cada vez que comienza a analizar - de esa manera, mueve la parte concurrente (sobre la marcha) desde la fuente de datos hacia su receptor de datos, por lo ahora sólo hay que encontrar la manera de recoger los resultados de todos los hilos ...

Esto se significar hacer una de nueva lectura de todo el archivo para cada hilo se gira hacia arriba, aunque ...

Podría ejecutar un programa diff en las dos versiones y continuar desde allí, dependiendo de qué tan bien formada sea la fuente de datos csv: ¿modifica los registros ya escritos? ¿O solo agrega nuevos registros?Si es así, sólo puede escindir el nuevo material (última posición a la corriente-EF) en un nuevo archivo, y procesar los libre en un subproceso de fondo:

• subproceso de sondeo recuerda el tamaño último archivo
• cuando el archivo se hace más grande: buscar desde la última posición hasta el final, guardar en archivo temporal
• subproceso de fondo procesa los archivos temporales que aún quedan, en el orden de la creación/modificación

Answer 3

no he probado, pero lo que pienso puede usar un FileSystemWatcher para detectar cuando un proceso diferente modificó su archivo. En el evento Modificado, podrá buscar un puesto que haya guardado anteriormente y leer el contenido adicional.