¿La función do malloc/memcpy se ejecuta de forma independiente en NUMA?

Question

Al tratar de aumentar la velocidad de mis aplicaciones en PCs no NUMA/estándar, siempre encontré que el cuello de botella era la llamada a malloc() porque incluso en máquinas multi-core es compartida/sincronizada entre todos los núcleos.

que disponer de un PC con una arquitectura NUMA el uso de Linux y C y tengo dos preguntas:

1. En una máquina NUMA, ya que cada núcleo está provisto con su propia memoria, a malloc() ejecuten de forma independiente en cada núcleo/memoria sin bloquear los otros núcleos?
2. En estas arquitecturas, ¿cómo se realizan las llamadas a memcpy()? ¿Se puede llamar esto independientemente en cada núcleo o, llamándolo una vez que el núcleo bloqueará a los otros? Tal vez estoy equivocado, pero recuerdo que también memcpy() tiene el mismo problema que malloc(), es decir, cuando un núcleo lo está usando, los demás tienen que esperar.

Answer 1

Una máquina NUMA es un sistema de memoria compartida, por lo que los accesos a la memoria desde cualquier procesador pueden alcanzar la memoria sin bloquear. Si el modelo de memoria estuviera basado en mensajes, entonces el acceso a la memoria remota requeriría que el procesador en ejecución solicite que el procesador local realice la operación deseada. Sin embargo, en un sistema NUMA, un procesador remoto puede afectar el rendimiento del procesador cerrado debido a la utilización de los enlaces de memoria, aunque esto puede depender de la configuración arquitectónica específica.

En cuanto a 1, esto depende completamente de la biblioteca OS y malloc. El sistema operativo es responsable de presentar la memoria por núcleo/por procesador como un espacio unificado o como NUMA. Malloc puede o no ser consciente de NUMA. Pero, fundamentalmente, la implementación de malloc puede o no ser capaz de ejecutarse simultáneamente con otras solicitudes. Y la respuesta de Al (y la discusión asociada) aborda este punto con mayor detalle.

cuanto a 2, como memcpy consisten de una serie de cargas y tiendas, el único impacto sería de nuevo los posibles efectos de arquitectura de la utilización de controladores de memoria los otros procesadores, etc.

Answer 2

1. llamadas a malloc en procesos separados se ejecuten de forma independiente sin importar si usted está en una arquitectura NUMA. Las llamadas a malloc en diferentes subprocesos del mismo proceso no se pueden ejecutar de forma independiente porque la memoria devuelta es igualmente accesible para todos los subprocesos dentro del proceso. Si desea memoria que sea local para un hilo en particular, lea en el Almacenamiento local de subprocesos. No he podido encontrar ninguna documentación clara sobre si Linux VM y el planificador pueden optimizar la afinidad entre núcleos, hilos, memoria local y almacenamiento local de subprocesos.