Me gustaría usar Python para recuperar algo de contenido detrás de JavaScript. Tengo un sitio web que está estructurado así: (he agregado saltos de línea para facilitar la lectura):
'<!DOCTYPE html>\n<html lang="ja">\n <head>\n <meta charset="utf-8"/>\n <title>HRMOS CORE Employee</title>\n <base href="/"/>\n <meta name="viewport" content="width=device-width, initial-scale=1"/>\n <link rel="icon" type="image/x-icon" href="assets/favicon.ico"/>\n <link rel="stylesheet" href="styles.ea399ef1dfe4d0c1ba1f.css"></head>\n <body class="pol">\n <ess-root></ess-root>\n <script src="runtime-es2015.9968ad6faaffe0609121.js" type="module"></script><script src="runtime-es5.9968ad6faaffe0609121.js" nomodule defer></script><script src="polyfills-es5.1271ae52020e40d8a200.js" nomodule defer></script><script src="polyfills-es2015.04cc7054da2685d59767.js" type="module"></script><script src="main-es2015.07a2df0e93ddc04b405f.js" type="module"></script><script src="main-es5.07a2df0e93ddc04b405f.js" nomodule defer></script></body>\n</html>\n'El contenido html real es una tabla interactiva representada por los scripts js en el código anterior.
Estoy tratando de recuperar el contenido de la tabla usando el módulo de request . Utilicé el siguiente código (estoy seguro de que la autorización funciona porque el módulo de solicitud devuelve el estado 200):
from requests_html import AsyncHTMLSession import lxml.html session = AsyncHTMLSession() r = await session.get('https://ess.hrmos.co/', auth=('user', 'password')) await r.html.arender(wait=10, sleep=10, keep_page=True) tree = lxml.html.fromstring(r.text) title_elem = tree.xpath("/html/body/ess-root/core-ui-theme/ess-core-layout/pol-layout/pol-content/ess-employee-list-page/div/div/ess-employee-cards-container/cdk-virtual-scroll-viewport/div[1]/div[1]/a[1]/ess-employee-card/pol-card/div[1]") print("title tag:", title_elem.tag) Pero incluso si uso esperar en el código, el html real que obtengo de la request está vacío sin ningún contenido. ¿Hay alguna manera de asegurarme de recuperar el contenido? ¿O tengo que usar selenio?