¿Cómo puedo automatizar aún más mi web-scrapper? Actualmente puede buscar direcciones URL constantes singulares. ¿Cómo agrego una función que hace que busque varias páginas dentro de un sitio web constante?
Aquí está mi código
const PORT = 8000 const axios = require('axios') const cheerio = require('cheerio') const express = require('express') const app = express () const url = 'heresurdata' axios(url) .then(response => { const html = response.data console.log(html) }) app.listen (PORT, () => console.log('server running on PORT ${PORT}'))puede hacer una solicitud a la primera página encontrar todas las etiquetas de anclaje obtener sus enlaces hacerles una solicitud y repetir el proceso
const {data} = await axios.get(url); const $ = cheerio.load(data); const allLinkTags = $('body a').map((index, el) => $(el).attr('href')).get(); // Now look through all the link tags and scrape them