Estoy raspando web usando NodeJS/mecanografiado.

Tengo un problema al usar titiritero donde obtengo la página completamente renderizada (que verifico ejecutando await page.content() ). Imprimí el contenido y descubrí que tenía 26 etiquetas 'a' (enlaces). Sin embargo, cuando busco con titiritero, solo obtengo 20.

Lo que es más extraño es que a veces obtengo todas las etiquetas 'a' en la página y, a veces, obtiene menos etiquetas 'a' que en la página, ¡todo sin cambiar el código! Parece ser algo aleatorio.

He visto algunas sugerencias en línea que dicen usar un método waitForElement o algo por el estilo. Básicamente, antes de buscar etiquetas, se asegura de que haya un elemento en la página. No creo que esto ayude en mi caso porque claramente el titiritero obtiene todo lo que necesita, como lo muestra el método await page.content() .

¿Alguien sabe por qué puede estar pasando esto? ¡Gracias! A continuación se muestra un fragmento simplificado de mi código.

 const getLinksFromPage = async ( browser: puppeteer.Browser, url: string ) => { const page = await browser.newPage(); const curLink = book.sportsURLs[pageIndex]; await page.goto(url, { waitUntil: 'networkIdle0'}); const html = await page.content(); // this code gets the content and prints it console.log(html); // so I can verify number of 'a' tags const rawLinks = await page.$$eval('a', (elements: Element[]) => { return elements .map((element: Element) => element.getAttribute('href')!) }); await page.close(); return rawLinks };