¿Por qué escribir en un MemoryStream es más lento que en un archivo?

Question

En mi código de rol de Azure, descargo un archivo de 400 megabytes que se divide en fragmentos de 10 megabytes y se almacena en Blob Storage. Yo uso CloudBlob.DownloadToStream() para la descarga.

Intenté dos opciones. Uno está usando un FileStream - creo un "write" FileStream y descargo trozos uno por uno en la misma corriente sin rebobinar y así termino con un archivo original. La otra opción es crear un objeto MemoryStream pasando un número ligeramente mayor que el tamaño del archivo original como el tamaño de la secuencia (para evitar reasignaciones) y descargando los fragmentos en ese MemoryStream - de esta manera termino con un MemoryStream que contiene los datos del archivo original.

aquí hay algo de pseudocódigo:

var writeStream = new StreamOfChoice(params); 
foreach(uri in urisToDownload) { 
    blobContainer.GetBlobReference(uri).DownloadToStream(writeStream); 
} 

Ahora, la única diferencia es que se trata de un FileStream en un caso y un MemoryStream en el otro, todo el resto es el mismo. Resulta que tarda unos 20 segundos con un FileStream y unos 30 segundos con un MemoryStream - sí, el FileStream resulta ser más rápido. De acuerdo con el contador de rendimiento \Memory\Available Bytes, la máquina virtual tiene aproximadamente 1 gigabyte de memoria disponible en el momento anterior a la creación de MemoryStream, por lo que no se debe a paginación.

¿Por qué escribir en un archivo sería más rápido que en un MemoryStream?

Answer 1

Jon está probablemente en el balón allí. El más probable explicación es,

1. La memoria es en realidad paginado a cabo por el hipervisor en el disco.
2. El archivo de intercambio de hipervisor se encuentra en un disco de menor velocidad (por ejemplo, disco local).
3. El sistema de archivos de la máquina virtual está en un disco empresarial rápido (digamos SAN).

Independientemente de si la memoria es más rápida o no, no debería asignar grandes bloques de memoria. Lea sobre LOH vs SOH aquí.

Answer 2

Al usar MemoryStream en modo de depuración (VS), la velocidad es muy lenta, incluso con pequeñas cantidades de datos. Ejecutar sin depurador conectado es comparable o incluso más rápido que FileStream.

Primero me confundí y terminé aquí. Ahora estoy bien con MemoryStream.