Tengo una API Express que envía datos a una interfaz y tengo varias integraciones con un sistema ERP. Una de las integraciones es muy limitada por lo que decidimos guardar los datos remotos en nuestras bases de datos para poder gestionarlos como necesitamos. Traer toda esta información es una tarea diaria (cada 24 horas) y consiste en obtener un archivo CSV del ERP remoto, leer, transmitir, transformar y actualizar los datos. La primera carga es de aproximadamente 200 000 filas y luego fragmentos diarios más pequeños con solo actualizaciones/datos nuevos. Este trabajo requiere muchos recursos durante ~40 segundos para toda la carga y luego son 300 filas por día como la mayoría.

¿Es un buen caso de uso mover esta lógica a un trabajador distribuido como usar colas?

Gracias.