¿Cómo administrar la memoria cuando se utiliza ExecutorService?

Question

Tengo una gran cantidad de tareas para ejecutar con multithreading.

uso el ExecutorService a presentar un montón de Callable objects, y cada Callable object contiene algunos resource que es necesaria para la ejecución.

Problema

Estas tareas son tantos que la Callable objects presentado a ExecutorService ocupan demasiada memoria, entonces el heap se agota.

Quiero saber, ¿cuándo el JVM libera el espacio para estos Callable objects?

¿Hace esto inmediatamente después de que se realiza la tarea y cómo podría administrar la memoria utilizada para ExecutorService?

Quiero controlar el envío a ExecutorService, por ejemplo, cuando la memoria no es suficiente, bloquee el envío de algunas tareas completadas y espacio libre. ¿Podría?

---

El código completo es demasiado complicado, adjuntaré el marco principal de mi código.

public class MyCallable implements Callable<Result> { 

    ... // Some members 

    public MyCallable(...) { 
    ... 
    } 

    @Override 
    public Result call() throws Exception { 
    ... // Doing the task 
    } 
} 

class MyFutureTask extends FutureTask<Result> { 

    ... // Some members 

    public MyFutureTask(...) { 
    super(new MyCallable(...)); 
    } 

    @Override 
    public void done() { 
    Result result = get(); 
    ... // Something to do immediately after the task is done 
    } 
} 

// Here is the code to add tasks 
ExecutorService executor = Executors.newFixedThreadPool(threadPoolSize); 
while (...) { 
    ... // Reading some data from files 
    executor.submit(new MatchFutureTask(...)); 
} 
executor.shutdown(); 

Answer 1

El método Runtime.getRuntime().freeMemory() le dirá la cantidad de memoria libre que tiene la JVM. Puede escribir una implementación de ThreadFactory que compruebe este valor antes de crear un nuevo hilo.

Answer 2

Si está utilizando el ExecutorService, debe pasar un BlockingQueue al constructor, ¿no? Supongo que estás usando un ThreadPoolExecutor. Utilice una ArrayBlockingQueue con una capacidad fija, y pase ThreadPoolExecutor.CallerRunsPolicy al constructor de ThreadPoolExecutor. Esto limitará bastante efectivamente su tasa de envío si establece el valor máximo de Poolsize en algún valor razonable.

Para responder a su primera pregunta, la VM liberará la memoria "en algún momento después" de que ya no haya referencias a los objetos. Si el Callable es autónomo en términos de estado, una vez que se termine de ejecutar, la VM debe recolectarlo antes de causarle un error de falta de memoria.

Answer 3

parecía que el uso de Executors.newCachedThreadPool() de memoria reducido en un 30% - 60%