Primero, no sé mucho sobre nodejs multi thread y multi process. Pero tengo una idea y no estoy seguro de que el subproceso múltiple lo logre.

Hay una API, cuando la llame, generaré una lista, almacenaré todos los enlaces web, la lista tiene una gran longitud, así que dividí la lista de esta manera:

 const list = [1, 2, 4, 5, 6, ..., 1000] const splitList= [[1, 2, 3], [...], ,[...], [998, 99, 1000]]

Luego comience a rastrear los enlaces:

 let i = 0 while (i < splitList.length) { await Promise.all(splitList[i].map(async link => { crawl(link) })) i++ }

La idea es:

Tal vez de esta manera suene loco, pero si funciona, ahorrará mucho tiempo.