Hay varias formas de extraer información de los sitios web. Recientemente escuché que puede abrir un controlador web de selenio e inyectar JS en él para obtener una URL específica desde el sitio web o para replicar llamadas AJAX.

Por ejemplo

 driver.execute_script("return fetch('www.yoururlhere')")

Entonces, tengo un par de preguntas al respecto.

1 - ¿Cómo obtienes realmente la respuesta? Al inspeccionar el controlador, puedo ver la llamada, pero ni en la página principal ni haciendo driver.page_source puedo recuperarla.

2 - ¿Cómo se replicarían llamadas de solicitudes más complejas donde hay parámetros o datos?

 requests.get(url=url,headers=headers,params=params) requests.post(url=url,headers=headers, data=json.loads(data))

¿Como funciona esto?

¡Gracias!