Limite la memoria física por proceso

Question

Estoy escribiendo un algoritmo para realizar algunos cálculos de memoria externa, es decir, donde los datos de entrada no encajan en la memoria principal y debe tener en cuenta la complejidad de E/S.

Dado que para mis pruebas no siempre quiero utilizar entradas reales Quiero limitar la cantidad de memoria disponible para mi proceso. Lo que he encontrado es, que pueda establecer el parámetro mem kernel para limitar la memoria usada física de todos los procesos (¿es correcto?)

¿Hay una manera de hacer lo mismo, pero con un límite por proceso . He visto ulimit, pero solo limita la memoria virtual por proceso. Alguna idea (tal vez incluso pueda configurarla programáticamente desde dentro de mi código C++)?

Answer 1

Puede probar con 'cgroups'. Para usarlos escriba los siguientes comandos, como root.

# mkdir /dev/cgroups 
# mount -t cgroup -omemory memory /dev/cgroups 
# mkdir /dev/cgroups/test 
# echo 10000000 > /dev/cgroups/test/memory.limit_in_bytes 
# echo 12000000 > /dev/cgroups/test/memory.memsw.limit_in_bytes 
# echo <PID> > /dev/cgroups/test/tasks 

Dónde está el PID del proceso que desea agregar al cgroup. Tenga en cuenta que el límite se aplica a la suma de todos los procesos asignados a este cgroup.

A partir de este momento, los procesos están limitados a 10 MB de memoria física y 12 MB de pysical + swap.

Existen otros parámetros ajustables en ese directorio, pero la lista exacta dependerá de la versión del kernel que esté utilizando.

Incluso puede crear jerarquías de límites, simplemente creando subdirectorios.

El grupo cgroup se hereda cuando fork/exec, por lo que si agrega el shell desde el que se lanza su programa a un grupo cg, se asignará automáticamente.

Tenga en cuenta que puede montar los cgroups en el directorio que desee, no solo en/dev/cgroups.

Answer 2

No puedo proporcionar una respuesta directa pero si se trata de hacer tales cosas, generalmente escribo mi propio sistema de administración de memoria para que pueda tener el control total del área de memoria y cuánto asignar. Esto también suele ser aplicable cuando escribe para microcontroladores. Espero eso ayude.

Answer 3

Usaría el setrlimti con el parámetro RLIMIT_AS para establecer el límite de la memoria virtual (esto es lo que hace ulimit) y luego usaría el proceso mlockall (MCL_CURRENT | MCL_FUTURE) para forzar al kernel a fallar y bloquear en físico RAM todas las páginas de proceso, de modo que cantidad virtual == cantidad de memoria física para este proceso

Answer 4

Kernel mem= parámetro de arranque limita la cantidad de memoria en el sistema operativo total.

Esto casi nunca es lo que quiere el usuario.

Para la memoria física, existe RSS rlimit aka RLIMIT_AS.

Answer 5

¿Ha considerado probar su código en algún tipo de entorno virtual? Una máquina virtual puede ser demasiado para sus necesidades, pero algo como User-Mode Linux podría ser una buena opción. Esto ejecuta un kernel de Linux como un proceso único dentro de su sistema operativo regular. Luego puede proporcionar una configuración de kernel mem= por separado, así como un espacio de intercambio separado para realizar experimentos controlados.

Answer 6

Como otros carteles ya han indicado, setrlimit es la solución más probable, controla los límites de todos los aspectos configurables de un entorno de proceso. Utilice este comando para ver estos ajustes individuales en su proceso de shell:

ulimit -a 

los más pertinentes a su escenario en los productos resultantes son los siguientes:

data seg size   (kbytes, -d) unlimited 
max locked memory  (kbytes, -l) 64 
max memory size   (kbytes, -m) unlimited 
virtual memory   (kbytes, -v) unlimited 

obtener de la página del manual para setrlimit (" man setrlimit "), puede invocarse programáticamente desde su código C/C++. Lo he usado con buenos resultados en el pasado para controlar los límites de tamaño de pila. (por cierto, no hay una página de manual dedicada para ulimit, en realidad es un comando bash incrustado, por lo que está en la página bash man.)