Estoy tratando de crear código para Web-Scrape el sitio web de mi escuela y solo estoy en la primera etapa de prueba y estoy siguiendo un tutorial.
const puppeteer = require('puppeteer'); async function scrapeProduct(url) { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto(url); const[el] = await page.$x('//*[@id="post-7577"]/div/div[2]/table[8]/tbody/tr[2]/td[1]'); const td = await el.getProperty('td'); const tdTxt = await td.jsonValue(); console.log({tdTxt}); console.log({td}); browser.close(); } scrapeProduct('https://www.gym-kahla.de/klassen-uebersicht/')este es el código que copié del tutorial y coloqué mi propio enlace y xPath.
la salida en la consola después de ejecutar el archivo es:
$ node scrapers.js { srcTxt: undefined }lo que me confunde porque aunque la variable ''srcTxt'' estaba en el tutorial, ya no está en este código modificado, ¿verdad?
si ayuda, aquí el código (que funcionó como lo hizo en el video) que había ejecutado en el mismo archivo antes:
const puppeteer = require('puppeteer'); async function scrapeProduct(url) { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto(url); const[el] = await page.$x('//*[@id="imgBlkFront"]'); const src = await el.getProperty('src'); const srcTxt = await src.jsonValue(); console.log({srcTxt}); } scrapeProduct('https://www.amazon.com/Black-Swan-Improbable-Robustness-Fragility/dp/081297381X/ref=sr_1_1?keywords=black+swan+book&qid=1640288170&sprefix=black+swan+%2Caps%2C173&sr=8-1')siguiente problema, esto tampoco funciona si trato de ejecutarlo ahora.
Sinceramente, no tengo idea de qué preguntar, así que espero que sea un error tan novato que alguien de ustedes pueda averiguar qué está pasando de cualquier manera.
pd: esta es mi primera publicación de stackoverflow, así que disculpe si escribí demasiado al principio, no era lo correcto o no respetaba alguna etiqueta
Considere usar selectores CSS en lugar de XPath.
const puppeteer = require('puppeteer') scrapeProduct('https://www.gym-kahla.de/klassen-uebersicht/') async function scrapeProduct(url) { const browser = await puppeteer.launch() const page = await browser.newPage() await page.goto(url) // Parse phone number from phone element const elPhone = await page.waitForSelector('.sidebar .textwidget p:nth-child(2)') const phoneNumber = await elPhone.evaluate(el => { return el.innerText.split(': ')[1] }) // obtain PDF URL of "Kurs 12/2" const elLastClassPdf = await page.waitForSelector( '#post-7577 .post-content table:last-child tr:last-child td:last-child a' ) const urlPdf = await elLastClassPdf.evaluate(el => { return el.getAttribute('href') }) console.log({ phoneNumber, urlPdf }) await browser.close() } $ time node scrapers.js { phoneNumber: '036424/52788', urlPdf: 'https://www.gym-kahla.de/wp-content/uploads/2021/11/12.pdf' } real 0m3.758s