C# Monte Carlo Riesgo incremental Optimización del cálculo, números aleatorios, ejecución paralela

Question

Mi tarea actual es optimizar un Monte Carlo Simulation que calcula las cifras de adecuación de capital por región para un conjunto de deudores.

Se está ejecutando aproximadamente 10 veces más lento para donde tendrá que estar en producción y se necesita un número o ejecuciones diarias. Además, la granularidad de las cifras de resultados tendrá que mejorarse hasta el nivel de libro de escritorio, posiblemente, en algún momento, el código que me han dado es básicamente un prototipo que las unidades de negocio utilizan en una capacidad de semi producción.

La aplicación es actualmente el único subproceso así que necesitaré para que sea multi-hilo, puede mirar a System.Threading.ThreadPool o la Microsoft Parallel Extensions biblioteca, pero estoy obligado a .NET 2 en el servidor en este banco, así que quizás tenga que considerar el puerto de este tipo, http://www.codeproject.com/KB/cs/aforge_parallel.aspx.

Hago todo lo posible para que se actualicen a .NET 3.5 SP1, pero es un ejercicio importante en una organización de este tamaño y podría no ser posible en mis marcos de tiempo de contrato.

que he perfilado la aplicación usando el ensayo de dotTrace (http://www.jetbrains.com/profiler). ¿Qué otros buenos perfiladores existen? ¿Gratis?

Gran parte del tiempo de ejecución se gasta generando números aleatorios uniformes y luego traduciéndolo a un número aleatorio distribuido normalmente. Están utilizando una implementación de C# Mersenne twister. No estoy seguro de dónde lo obtuvieron o si es la mejor manera de hacerlo (o la mejor implementación) para generar los números aleatorios uniformes. Entonces esto es traducido a una versión normalmente distribuida para usar en el cálculo (aún no he profundizado en el código de traducción).

¿Cuál es la experiencia al utilizar lo siguiente?

• http://quantlib.org

• http://www.qlnet.org (C# puerto de QuantLib) o

• http://www.boost.org

Cualquier alternativa que conozca? Soy desarrollador de C# por lo que preferiría C#, pero un contenedor para C++ no debería ser un problema, ¿o sí?

Quizás incluso más rápido aprovechando las implementaciones de C++. Estoy pensando que algunas de estas bibliotecas tendrán el método más rápido para generar directamente números aleatorios distribuidos normalmente, sin el paso de traducción. También pueden tener algunas otras funciones que serán útiles en los cálculos posteriores.

También el ordenador está en un núcleo Opteron es quad 275, 8 GB de memoria pero Windows Server 2003 Empresa 32 bits. ¿Debo recomendarles que actualicen a 64 bit OS?Cualquier enlace a artículos que respalden esta decisión sería realmente apreciado.

De todos modos, cualquier consejo y ayuda que pueda tener es realmente apreciado.

Answer 1

He encontrado que el Mersenne Twister es rápido. El problema puede estar en el algoritmo (Box-Muller) para transformar la distribución uniforme en distribución gaussiana. El algoritmo estándar se parece a:

y1 = sqrt(- 2 ln(x1)) cos(2 pi x2) 
y2 = sqrt(- 2 ln(x1)) sin(2 pi x2) 

Donde x1 y x2 son números aleatorios uniformes y Y1 e Y2 son las salidas de distribución de Gauss.

Las raíces cuadradas son lentos, pero el trig es peor, y es inestable cercano a 0. Taygeta's page sobre el tema da una más rápida (en pseudocódigo):

  float x1, x2, w, y1, y2; 

    do { 
      x1 = 2.0 * ranf() - 1.0; 
      x2 = 2.0 * ranf() - 1.0; 
      w = x1 * x1 + x2 * x2; 
    } while (w >= 1.0); 

    w = sqrt((-2.0 * ln(w))/w); 
    y1 = x1 * w; 
    y2 = x2 * w; 

Si no están usando algo así, puede acelerar un poco las cosas al evitar las funciones trigonométricas o incluso pregenerar los números aleatorios.

Answer 2

¿Ha considerado señalar a profiler at your code? He visto casos en los que hay soluciones simples que obtienen mejoras muy significativas. Como cambiar un par de propiedades a campos.

Answer 3

estar obligado a utilizar .Net en el primer lugar de una simulación a gran escala va a costar un poco de rendimiento de hasta delante ... pero dicho ...

Si eres ejecutando una implementación pura de C# del Mersenne Twister, es probable que le cueste ajustar todo el rendimiento posible. Si revisa el Mersenne Twister reference implementation, verá que tienen una versión C que está muy optimizada para procesadores con capacidad SSE, esto es muy rápido. No creo que sea posible en C# (o al menos, no sé cómo) forzar el uso de las instrucciones de SSE con ese nivel de optimización. Sugeriría escribir un contenedor de C++/CLI (o un contenedor de P/Invoke) alrededor de las bibliotecas de Mersenne Twister, y ver cómo eso afecta su rendimiento. Sin embargo, tendrá que tener cuidado con los ataques administrados no administrados que afecten su rendimiento, ya que he visto otras publicaciones aquí en SO sobre ese tema (aunque parece que no puedo encontrarlas en este momento ...).

Puedo generar algo de llama para decir esto, pero si el rendimiento es una preocupación importante en su aplicación, C o C++ bien escrito casi siempre va a ser preferible a cualquier lenguaje administrado o interpretado.

Answer 4

Mi experiencia es que el rendimiento relativo de C# contra C++ depende en gran medida de lo que está haciendo. Una gran discusión de eso aquí:

C++ performance vs. Java/C#

Para bucles apretados hace matemáticas (digamos los cálculos físicos vector) C++ es un 2-3 veces más rápido que C# aunque la perforación puede estar dominada por las funciones subyacentes como sqrt ()

He adoptado un enfoque de lenguaje mixto, (re) implementando el código más lento en C++/OpenMP con un contenedor administrado de C++/CLI. Esto le permite solo "pagar por lo que usa".

Hay un resumen de cómo envolver nativo de C/C++ con C++/CLI aquí:

http://msdn.microsoft.com/en-us/library/ms235281.aspx

Una vez que el cuelgue de C++/CLI que es bastante fácil de conseguir las cosas funcionando.