El sitio web que estoy buscando para raspar tiene un botón que solicita las fechas de los datos que desea descargar como un archivo .csv. He automatizado este proceso para descargar estos datos a través de python, pero necesito obtener manualmente un token cada vez desde el navegador con ctrl, shift, i->cookies->request cookies y luego copiar y pegar el token en el archivo python cada vez. El problema es que el token expira después de 1 día y la modificación de la fecha de caducidad y/o emisión no funciona, por lo que asumo que este token está siendo generado por javascript del lado del cliente.

He intentado usar:

 response = requests.get(www.exampleurl.com) print(response.cookies)

Y obtengo una respuesta vacía.

También he intentado:

 print(response.headers)

Pero no obtengo la cookie o los datos del token en absoluto.

Quiero saber dónde puedo encontrar el javascript del lado del cliente que está generando el token para poder copiar el algoritmo o al menos ejecutar este algoritmo de javascript cada vez que necesito un token.

Estoy tratando de evitar el selenio debido a que tiene una sobrecarga de 1 GB en comparación con el script, que sería de 10 MB.