Twisted or Celery? ¿Cuál es el adecuado para mi aplicación con muchas llamadas SOAP?

Question

Estoy escribiendo una aplicación de Python que necesita concurrencia y asincronismo. He recibido algunas recomendaciones para Twisted and Aplery, pero estoy teniendo problemas para determinar cuál es la mejor opción para esta aplicación (tampoco tengo experiencia con ninguna).

La aplicación (que no es una aplicación web) se centra principalmente en realizar llamadas SOAP a varias API de terceros. Para procesar un dato dado, tendré que llamar varias API secuencialmente. Y me gustaría poder tener un grupo de "trabajadores" para cada una de estas API, así puedo hacer más de 1 llamada por vez a cada API. Nada de esto debería ser muy intensivo en la CPU.

Más específicamente, un proceso externo agregará un nuevo "Mensaje" a la base de datos de esta aplicación. Necesitaré un trabajo que busque nuevos mensajes y luego los empuje a través del Proceso. El proceso contendrá 4-5 pasos que deben suceder en orden, pero pueden ocurrir de manera completamente asincrónica. Cada paso tomará el mensaje y actuará de alguna manera, típicamente agregando detalles al mensaje. Cada paso posterior requerirá la salida del paso que lo precede. Para la mayoría de estos Pasos, el trabajo involucrado se centra en llamar a una API de terceros, generalmente con un cliente SOAP, analizar la respuesta y actualizar el mensaje. Algunos casos implicarán la creación de un archivo binario (más difícil de eliminar, si ese es un factor). En última instancia, una vez que se haya completado el último paso, tendré que actualizar un indicador en la base de datos para indicar que todo el proceso está hecho para este mensaje.

Además, dado que cada paso implicará esperar una respuesta de red, me gustaría aumentar el rendimiento general haciendo múltiples solicitudes simultáneas en cada paso.

¿Es Apio o Torcido un marco más apropiado aquí? Si ambos resuelven el problema adecuadamente, ¿hay pros/contras para usar uno frente al otro? ¿Hay algo más que debería considerar en su lugar?

Answer 1

¿Es Apio o Torcido un marco más apropiado aquí?

Depende de lo que quiere decir con "generalmente apropiado".

Si ambos resuelven el problema adecuadamente, ¿hay pros/contras para usar uno frente al otro?

No es una lista exhaustiva.

Pros Apio:

• prefabricado cola de tareas distribuido, con, reintentos, trabajadores remotos que limitan la velocidad
• El rápido desarrollo
• curva de aprendizaje comparativamente poco profunda

apio Contras:

• H eavyweight: múltiples procesos, dependencias externas
• tiene que ejecutar un paso de mensajes del servicio
• "procesos" de aplicación tendrá que ajustarse al diseño de apio

Twisted Pros:

• Ligera: proceso único y no depende de un mensaje que pasa el servicio
• Desarrollo rápido (para aquellos familiarizados con él)
• Flexible
• Probablemente más rápido, no es necesario pasar un mensaje "interno".

Twisted Contras:

• curva de aprendizaje
• No es necesariamente tan fácil de añadir capacidad de procesamiento posterior.

---

estoy familiarizado con ambos, y de lo que ha dicho, si fuera yo me quedaría con trenzados.

Yo diría que lo hará más rápido con Aplery, pero aprenderá más mientras lo hace utilizando Twisted. Si tiene el tiempo y la inclinación para seguir la curva de aprendizaje, le recomiendo que haga esto en Twisted.

Answer 2

Apio le permite utilizar el comportamiento asincrónico de varias bibliotecas asincrónicas como gevent y eventlet. Para que pueda tener lo mejor de ambos mundo.

Ejemplo usando eventlet Ejemplo https://github.com/celery/celery/tree/master/examples/eventlet

usando GEvent https://github.com/celery/celery/tree/master/examples/gevent