En nuestro proyecto Java actual, necesitamos procesar por lotes un gran conjunto de registros. Una vez que se realiza este procesamiento, debe comenzar de nuevo y procesar todos los registros nuevamente. Este procesamiento debe ser paralelo y distribuido entre múltiples nodos.
Los registros en sí se almacenan en una base de datos. Usar algún rango de identificación (por ejemplo, 1-10000) para identificar un lote sería suficiente.
Desde una perspectiva de alto nivel, veo los siguientes pasos:
Usamos MongoDB bastante y pensamos en subtareas persistentes en él. Luego, cada nodo puede seleccionar subtareas que aún no se han realizado, realiza el procesamiento y marca el registro como realizado. Una vez que no hay subtareas deshechas, la tarea maestra vuelve a crear todas las subtareas. Esto probablemente funcionaría, pero estamos buscando una solución en la que no necesitemos hacer el trabajo pesado de sincronización nosotros mismos.
Su pregunta es demasiado amplia para el formato de SO. Lea esta guía en el futuro antes de preguntar, y no pida a los miembros de su grupo que voten su pregunta solo para inflar lo que obviamente es una pregunta mal planteada ( ͡° ͜ʖ ͡°).
De todos modos:
1) Sí, puede implementar sus requisitos en Akka. En particular, dado que mencionó varios nodos, está mirando el módulo akka-cluster (para la comunicación entre nodos), y es posible que también necesite akka-cluster-sharding (en caso de que desee mantener todos los datos en la memoria al lado durante el procesamiento ).
2) No, no lo recomendaría encarecidamente. Si bien técnicamente podría forzar su problema para que use akka-persistence para sincronizar las tareas, el objetivo de akka-persistence es simplemente hacer que el estado de un actor sea persistente. Akka en sí mismo en su forma básica es suficiente para manejar todos sus problemas de sincronización. Simplemente haga que un actor principal cree un trabajador para cada subtarea y supervise su finalización.
3) Sí. Tenga en cuenta que la respuesta a esta pregunta siempre es sí, sin importar el trabajo.