Empresas
Empregos
  • Sobre nós
  • Soluções
    • Publicação de vagas
      Publique sua vaga e receba candidatos qualificados em 48h.
    • Avaliações de candidatos
      Mais de 500 testes técnicos e psicológicos, mais anti-fraude.
    • Headhunting
      Busca executiva personalizada do início ao fim.
    • Folha de Pagamento + EOR
      Dispersão de folha e EOR em mais de 15 países da LATAM.
  • Preços
  • Empregos

0

289
Visualizações
Is there a node.js package for web scraping that will capture content outside of page source-code?

Some sites don't have everything in the page source code, you can only see the new elements when you load the page on a browser. I don't know why is that, I'm thinking maybe it's because a site requires javascript to be enabled? In python, I fixed my issue with the "AsyncHTMLSession" module and this code:

r = await session.get(url)
await r.html.arender()

It let me grab the new elements and do whatever I needed, is there anything like this for node.js?

about 4 years ago · Juan Pablo Isaza
1 Respostas
Responde à pergunta

0

Yes, basically you are looking for a way to access content that shows up when a page loads using JavaScript.

The solution you want is a headless browser - puppeteer does this very well.

Checkout: https://www.toptal.com/puppeteer/headless-browser-puppeteer-tutorial

Or even a quick video: https://www.youtube.com/watch?v=dXjKh66BR2U

about 4 years ago · Juan Pablo Isaza Relatório
Responde à pergunta
Encontrar trabalhos remotos

Descubra a nova forma de encontrar um emprego!

melhores empregos
Principais categorias de trabalho
Empresas
Postar vaga Preços Comercial
Jurídico
Termos e Condições Política de privacidade
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomende algumas ofertas para mim
Preciso de ajuda