Estoy tratando de raspar a los protésicos en la API pública de NPI. Actualmente, estoy resolviendo una promesa después de 8 segundos antes de pasar al siguiente lote de 200 resultados y eliminarlos. Creo que este es un enfoque simplista y tengo curiosidad por saber si hay una manera de rastrear el tiempo de finalización de la llamada a la API, en este caso donde el archivo console.log('¡Los "datos para agregar" se agregaron al archivo!), y luego pasar a la siguiente iteración en el ciclo? A veces, 8 segundos es tiempo suficiente y, a veces, es demasiado tiempo. ¿Que opciones tengo?

Aquí está mi código:

 const fs = require("fs"); const axios = require("axios"); const limit = 10000; function sleep(ms) { return new Promise((resolve) => setTimeout(resolve, ms)); } const getDoctors = async (website) => { const requestOptions = { method: "GET", redirect: "follow", }; try { console.log(`scraping ${website}`); const { data } = await axios.get(website, requestOptions); await fs.readFile( "./customer.json", "utf8", async function (err, beepboop) { if (err) console.log("Oh no an error!"); if (beepboop) { const json = JSON.parse(beepboop); json.push(data.results); await fs.writeFile( "./customer.json", JSON.stringify(json), function (err) { if (err) throw err; console.log('The "data to append" was appended to file!'); } ); } else { console.log("Creating file ==============================="); await fs.writeFile( "./customer.json", JSON.stringify(data.results), function (err) { if (err) throw err; console.log('The "data to append" was appended to file!'); } ); } } ); } catch (err) { console.log(err); } }; const scrapeDoctors = async () => { for (let skipNumber = 0; skipNumber < limit; skipNumber += 200) { let url = `https://npiregistry.cms.hhs.gov/api/?version=2.1&taxonomy_description=prosthetist&limit=200&skip=${skipNumber}`; getDoctors(url); await sleep(8000); } }; scrapeDoctors();