Eliminando todas las tareas en cola de un ThreadPoolExecutor

Question

tengo esta pregunta bastante simple sobre el ThreadPoolExecutor. Tengo la siguiente situación: debo consumir objetos de una cola, crear las tareas apropiadas para ellos y enviarlos al ThreadPoolExecutor. Esto es bastante simple. Pero dentro de un escenario de cierre muchos trabajadores pueden ser puestos en cola para la ejecución. Dado que una de esas tareas puede estar ejecutándose durante una hora, y quiero un apagado relativamente rápido y elegante de la aplicación, quiero descartar todas las tareas en cola del ThreadPoolExecutor mientras que las tareas que ya están en proceso deben completarse normalmente.

La documentación del ThreadPoolExecutor tiene un método remove() pero solo permite eliminar tareas específicas. purge() solo funciona para tareas Future ya canceladas. Mi idea era borrar la cola que contenía todas las tareas en cola. El ThreadPoolExecutor proporciona acceso a esta cola interna, pero la documentación indica:

Método getQueue() permite el acceso a la cola de obra para fines de monitoreo y depuración. El uso de este método para cualquier otro propósito es fuertemente desaconsejado.

Así que agarrar esta cola y borrarla no es una opción. Además, este fragmento de la documentación dice:

métodos

dos pilas, remove (java.lang.Runnable) y de purga() están disponibles para ayudar en la recuperación de almacenamiento cuando un gran número de tareas se vuelven cola cancelado .

¿Cómo? Claro, puedo mantener una lista de todas las tareas que envié al ejecutor y, en caso de cierre, repito todas las entradas y las elimino del ThreadPoolExecutor con el método remove() ... pero ... vamos, este es un pérdida de memoria y una molestia para mantener esta lista. (Eliminando tareas ya ejecutadas, por ejemplo)

¡Agradezco cualquier sugerencia o solución!

Answer 1

¿Ha considerado envolver el ExecutorService? Cree un

CleanShutdownExecutorService implements Executor 

que delega todas las llamadas a otro ejecutor, pero mantiene los futuros en una lista propia. CleanShutdownExecutorService puede tener un método cancelRemainingTasks() que invoca shutdown(), luego llama a cancel (false) en todos los futuros de su lista.

Answer 2

Como ExecutorService.shutdown() no está haciendo lo suficiente y ExecutorService.shutdownNow() está haciendo demasiado supongo que tienes que escribir algo en el medio: recuerde todas las tareas presentadas y eliminarlos manualmente después (o antes) llamando shutdown().

Answer 3

La respuesta de Bombe es exactamente lo que quieres. shutdownNow() detiene todo utilizando el enfoque nuke y pave. Esto es lo mejor que puede hacer, salvo crear una subclasificación de la implementación de ThreadPoolExecutor que está utilizando.

Answer 4

Una solución loca y sucio que podría trabajar (pensamiento no real a través de o probado) sería para sobrescribir el interrupt() de sus WorkerTasks que sólo en caso de que se establece un valor global de negarse a apagarse cuando interrupt() se llama en ellos por shutdownNow ()

Eso debería permitirle usar shutdownNow() no?

Answer 5

Indique al grupo de subprocesos que se cierre, getQueue, para cada resultado en Runnables individuales, elimine cada Runnable utilizando el método remove. Según el tipo de cola, es posible que pueda detener las eliminaciones de forma anticipada en función de los valores devueltos.

Básicamente, esto está agarrando la cola y despejándola, solo borrando a través de los métodos que funcionan. En lugar de recordar manualmente todas las presentaciones, utiliza el hecho de que el grupo de subprocesos ya tiene que recordar todas las presentaciones. Sin embargo, es probable que necesites hacer una copia defensiva de la cola, ya que creo que es una vista en vivo, y por lo tanto eliminarla probablemente causaría una excepción de modificación simultánea si estuvieras iterando/for-itando sobre la vista en vivo.

Answer 6

Solía ​​trabajar en una aplicación con subprocesos de larga ejecución. Hacemos esto en el cierre,

BlockingQueue<Runnable> queue = threadPool.getQueue(); 
List<Runnable> list = new ArrayList<Runnable>(); 
int tasks = queue.drainTo(list); 

La lista se guarda en un archivo. Al inicio, la lista se agrega al grupo para que no perdamos ningún trabajo.

Answer 7

¿No funciona awaitTermination(long timeout, TimeUnit unit) after shutdown?

executor.shutdown(); executor.awaitTermination (60, TimeUnit.SECONDS)

Answer 8

Puede intentar allowCoreThreadTimeOut(true);

Answer 9

Ésta es una cuestión de edad, pero en caso de que esto ayude a alguien más: puede establecer un valor lógico volátil cuando se llama a shutdown(), y que cada tarea enviada finalice si ese booleano está configurado antes de realmente comenzar. Esto permitirá tareas que realmente han comenzado a completarse, pero evitará que las tareas en cola comiencen su actividad real.