Algunos sitios no tienen todo en el código fuente de la página, solo puede ver los nuevos elementos cuando carga la página en un navegador. No sé por qué es eso, estoy pensando que tal vez sea porque un sitio requiere que javascript esté habilitado. En Python, solucioné mi problema con el módulo "AsyncHTMLSession" y este código:
r = await session.get(url) await r.html.arender()Me permitió tomar los nuevos elementos y hacer lo que necesitaba, ¿hay algo así para node.js?
Sí, básicamente estás buscando una forma de acceder al contenido que aparece cuando se carga una página usando JavaScript.
La solución que desea es un navegador sin cabeza: el titiritero lo hace muy bien.
Pago: https://www.toptal.com/puppeteer/headless-browser-puppeteer-tutorial
O incluso un video rápido: https://www.youtube.com/watch?v=dXjKh66BR2U