Demasiados archivos abiertos: cuántos están abiertos, lo que son, y cuántos puede la JVM abierta

Question

estoy recibiendo esta excepción en Java:

java.io.FileNotFoundException: (Too many open files) 

Busco las formas de eliminar este problema.

Este error obviamente indica que JVM ha asignado demasiados controladores y el sistema operativo subyacente no permitirá que tenga más. O tengo una fuga en algún lugar con conexiones/secuencias mal cerradas.

Este proceso se ejecuta durante días sin parar y, finalmente, arroja la excepción. Ocurre repetidamente después de 12-14 días de tiempo activo.

¿Cómo luchas contra esto? ¿Hay alguna manera de obtener una lista de identificadores asignados en JVM o hacer un seguimiento cuando alcanza cierta cantidad? Me encantaría que se impriman y ver cómo crece y cuándo. No puedo usar un generador de perfiles porque es un sistema de producción y tengo dificultades para reproducirlo en desarrollo. ¿Cualquier sugerencia?

Estoy monitoreando el tamaño de montón libre y generando una "alarma" cuando se acerca al 1% del total especificado en -Xmx. También sé que si mi número de hilos llega a más de 500, algo definitivamente se va de las manos. Ahora, hay una forma de saber que mi JVM asigna demasiados identificadores del sistema operativo y no los devuelve, p. enchufes, archivos abiertos, etc. Si lo hubiera sabido, sabría dónde buscar y cuándo.

Answer 1

Usted no dijo qué sistema operativo se está ejecutando, pero si está ejecutando en Linux se puede utilizar el comando lsof

lsof -p <pid of jvm> 

que listará todos los archivos abiertos por la JVM. O si está ejecutando en Windows puede Process Explorer que mostrará todos los archivos abiertos para todos los procesos.

Al hacer esto, esperamos que pueda restringir qué parte del código mantiene los archivos abiertos.

Answer 2

Dado que está en Linux, le sugiero que compruebe el/proc-Filesystem. Dentro del proceso, encontrará una carpeta con el PID de su proceso que contiene una carpeta llamada 'fd'. Si el identificador de proceso es 1234, el camino es ser

/proc/1234/fd 

Dentro de esa carpeta, encontrará enlaces a todos los archivos abiertos (hacer un 'ls -l'). Por lo general, puede decir por el nombre de archivo qué biblioteca/código puede abrir y no cerrar el archivo.

Answer 3

Usted puede cambiar el límite de archivos abiertos por añadir lo siguiente a /etc/security/limits.conf:

* soft nofile 2048 # Set the limit according to your needs 
* hard nofile 2048 

A continuación, puede volver a cargar la configuración mediante sysctl -p en la cáscara. Compruebe this article.

simplemente para la corrección puede verificar cuál es el límite actual para los archivos abiertos utilizando: ulimit -n

Answer 4

Por lo tanto, la respuesta completa (que combinan respuestas de @phisch y @bramp). Si desea verificar todos los procesos, debe usar sudo. También es bueno guardar el resultado en el archivo - lsof no es barato + este archivo podría ser útil para futuras investigaciones.

sudo lsof > lsof.log 

Mostrar malos:

cat lsof.log | awk '{ print $2 " " $1; }' | sort -rn | uniq -c | sort -rn | head -5 

    2687 114970 java 
    131 127992 nginx 
    109 128005 nginx 
    105 127994 nginx 
    103 128019 nginx 

Guardar lista de descriptores de archivo a archivo, así:

sudo ls -l /proc/114970/fd > fd.log 

Mostrar las de los archivos abiertos:

cat fd | awk '{ print $11 }' | sort -rn | uniq -c | sort -rn | head -n20