Al igual que David explicó, puede acceder a cualquier blob a través de su url, siempre que el contenedor no sea privado.
Si el contenedor es privado, puede hacer que sus archivos sean accesibles a través de la url usando Shared Access Signatures (SAS). Esto le permitirá otorgar a los usuarios el derecho de descargar el archivo (proporcionándoles el SAS, usually appended to the URL) pero limitándolos a tiempo.
Esto es perfecto cuando tiene descargas de pago, por ejemplo, para proteger sus archivos, pero lo que permite que se descarguen durante un tiempo limitado si alguien pagó por ello.
Ahora, en su pregunta indica que está utilizando C#. Si desea descargar el archivo en una aplicación de formularios WPF/Windows/consola, sólo tiene que utilizar el cliente Web para descargar el archivo (si el recipiente es pública o añadir el URL con el SAS):
WebClient myWebClient = new WebClient();
myWebClient.DownloadFile("https://myaccount.blob.core.windows.net/pdf/1001_12_Jun_2012_18_39_05_594.pdf", @"D:\Data\myPdfFile.pdf");
Y Consulte también la respuesta de @Sandrino sobre las firmas de acceso compartido, que probablemente encontrará muy útil con contenido específico del cliente vs. contenido público como imágenes, archivos de ayuda, folletos, etc. –