Utilizo el siguiente código, pero algunas URL de la lista de URL obtienen un error 500 debido a la estructura de la página.
Recibo el error exactamente en la línea
.map((htmlOnePage, index) =>cuando alguna página de URL no es válida, y el control de flujo del programa va a Catch Part. ¿Cómo puedo encontrar qué URL no es válida?
const requestPromise = require('request-promise'); const Promise = require('bluebird'); const cheerio = require('cheerio'); for (var i = 1; i <= 250; i++) { p = "https://mywebsite.com/" + i.toString() urls[i - 1] = p } Promise.map(urls, requestPromise) .map((htmlOnePage, index) => { const $ = cheerio.load(htmlOnePage); $('.txtSearch1').each(function() { var h = ""; h = $(this).text() h = h.replace(/(\r\n|\n|\r)/gm, "") html44.push(h) }) shareTuple[urls[index]] = html44; html44 = [] fs.writeFileSync("data.json", JSON.stringify(shareTuple)) }, { concurrency: 1 }) .then() .catch((e) => console.log('We encountered an error' + e));en otras palabras, ¿cómo puedo mostrar qué URL entra en catch?
Debe agregar frases atrapadas de prueba dentro de todas las funciones de iteración para identificar el problema. y haga el registro para cada uno en función de la operación que están capturando.
Por ejemplo, lo envolvería así:
try { const $ = cheerio.load(htmlOnePage); $('.txtSearch1').each(function () { try { var h=""; h=$(this).text() h= h.replace(/(\r\n|\n|\r)/gm, "") html44.push (h) }catch (error) { console.log('Error in getting p text'); console.log(error); } } catch (error) { console.log('Error in loading'+ htmlOnePage); console.log(error); } Puede desglosar más el error buscando a través de los valores del objeto de error para encontrar el problema si desea eliminarlo manualmente.
La otra forma de eliminarlo programáticamente es intentar hacer la solicitud de la página después de crearla y también envolverla en try catch. Si arroja una excepción, puede agregar catch para eliminarlo de la lista.
Ese texto antes del registro de error de la consola es solo para que pueda ver dónde se rompió.