Estoy trabajando en un sitio web que ofrece scraping con Puppeteer en NodeJS, así que decidí crear un sitio web usando NodeJS y Express.
Por lo tanto, el script de raspado debe ejecutarse una vez que se haya completado un formulario.
Por lo tanto, el script debe ejecutarse nuevamente para cada nueva solicitud sin cancelar la anterior. Por lo tanto, no sé cuánto script se cargará por adelantado.
Creo que PM2 puede ser una buena idea, pero no estoy seguro de si satisface mis necesidades.
O podría usar Node.js Cluster , esto me permitiría crear una bifurcación para cada formulario completado.
Aquí está la estructura de árbol de mi proyecto:
my-app/ ├─ bin/ │ ├─ www ├─ node_modules/ ├─ public/ │ ├─ images/ │ ├─ javascript/ │ │ ├─ scrapper.js │ │ ├─ script.js │ ├─ stylesheets/ ├─ routes/ │ ├─ index.js ├─ views/ │ ├─ error.pug │ ├─ index.pug │ ├─ layout.pug ├─ app.json ├─ package-lock.json ├─ package.json