Mi empresa está considerando usar un canal para un procesamiento de registro de bastante alto volumen. Creemos que el proceso de registro debe distribuirse, tanto por razones de volumen (escalabilidad) como de conmutación por error (confiabilidad), y Flume parece ser la elección obvia.Escala de conmutación automática y failover de Flujo
Sin embargo, creemos que debemos perdernos algo obvio, porque no vemos cómo Flume proporciona escalabilidad y failover automáticas.
Quiero definir un flujo que diga para cada línea de registro, haga la cosa A, luego páselo y haga la cosa B, luego páselo y haga la cosa C, y así sucesivamente, lo que parece coincidir bien con Flume . Sin embargo, quiero ser capaz de definir este flujo en términos puramente lógicos, y básicamente decir: "Hola, Flume, aquí están los servidores, aquí está la definición de flujo, ¡ponte a trabajar!". Los servidores morirán (y las operaciones se reiniciarán), agregaremos servidores al clúster y retiraremos otros, y el canalizará el trabajo a los nodos que tengan capacidad disponible.
Esta descripción es cómo Hadoop map-reduce implementa escalabilidad y failover, y supuse que Flume sería el mismo. Sin embargo, la documentación implica que necesito configurar manualmente los servidores físicos en los que se ejecuta cada nodo lógico y configurar situaciones de conmutación por error específicas para cada nodo.
¿Estoy en lo cierto, y Flume no sirve para nuestro propósito, o me perdí algo?
Gracias por su ayuda.
También podría preguntar esto en la lista de correo del canal: [email protected] – PoorLuzer