Tengo una aplicación principal de nodejs que recorre una lista de sitios web y crea un proceso secundario para cada sitio web para recopilar información de ese sitio (raspado).

mi problema es que puedo tener muchos sitios web (digamos 100, 200 o más) ¿cuál es el mejor enfoque para tal problema?

¿Hay un mejor diseño de sistema para esto?

o puedo ejecutar tantas aplicaciones de node js en el mismo dispositivo si omití usar la aplicación principal.

por favor avise.