Empresas
Empleos
  • Sobre nosotros
  • Soluciones
    • Publicación de vacantes
      Publica tu vacante y recibe candidatos calificados en 48h.
    • Evaluación de candidatos
      500+ pruebas técnicas y psicológicas, más anti-fraude.
    • Headhunting
      Búsqueda ejecutiva a la medida de principio a fin.
    • Nómina + EOR
      Dispersión de nómina y EOR en más de 15 países de LATAM.
  • Precios
  • Empleos

0

286
Vistas
Is there a node.js package for web scraping that will capture content outside of page source-code?

Some sites don't have everything in the page source code, you can only see the new elements when you load the page on a browser. I don't know why is that, I'm thinking maybe it's because a site requires javascript to be enabled? In python, I fixed my issue with the "AsyncHTMLSession" module and this code:

r = await session.get(url)
await r.html.arender()

It let me grab the new elements and do whatever I needed, is there anything like this for node.js?

about 4 years ago · Juan Pablo Isaza
1 Respuestas
Responde la pregunta

0

Yes, basically you are looking for a way to access content that shows up when a page loads using JavaScript.

The solution you want is a headless browser - puppeteer does this very well.

Checkout: https://www.toptal.com/puppeteer/headless-browser-puppeteer-tutorial

Or even a quick video: https://www.youtube.com/watch?v=dXjKh66BR2U

about 4 years ago · Juan Pablo Isaza Denunciar
Responde la pregunta
Encuentra empleos remotos

¡Descubre la nueva forma de encontrar empleo!

Top de empleos
Top categorías de empleo
Empresas
Publicar vacante Precios Comercial
Legal
Términos y condiciones Política de privacidad
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomiéndame algunas ofertas
Necesito ayuda