Soy un novato total cuando se trata de javascript, html, web-scrapping y web data mining.

Estoy tratando de realizar lo siguiente a través de la secuencia de comandos de Python:

1. Vaya a: https://www.sciencedirect.com/
2. Busque por nombre y apellido del autor, es decir: "Albert Einstein".
3. Obtenga enlaces a los artículos que se encuentran en la página de resultados de búsqueda.
4. Accede a esos enlaces.
5. En la página del artículo, necesito acceder al enlace con las credenciales del autor justo debajo del título del artículo; al hacer clic, aparecerá una ventana desde la derecha.
6. Quiero todo el texto de esa ventana y lo necesito a través del script de Python. Preferiblemente mediante el uso de alguna forma de solicitudes de URL.

Hasta ahora tengo el siguiente código:

 from bs4 import BeautifulSoup from requests_html import HTMLSession def AccessScienceDirect(credentials): # this url gives me search results page with links to articles _url = f"https://www.sciencedirect.com/search?authors={credentials}" session = HTMLSession() try: response = session.get(_url) response.html.render() except Exception as e: return (f'Error for {_url}', e) soup = BeautifulSoup(response.html.html, 'html.parser' ) _text = soup.get_text() return _text AccessScienceDirect("Albert Einstein")

Desafortunadamente, no sé qué debo hacer a continuación.

El _text no parece contener ninguna información que se asemeje a una página web a la que pueda acceder insertando un enlace en el navegador: " https://www.sciencedirect.com/search?authors=Albert Einstein "

Sin mencionar el acceso a los enlaces de los artículos. Supongo que esto se debe a que esta página web usa javascript.

Por supuesto, no necesito realizar las acciones 1-6 en secuencia. Si solo se necesitara una solicitud de URL para obtener ese texto de la ventana emergente, estaría más que feliz.

Así que estoy atascado en el paso: 3 :-(

Gracias de antemano por cualquier ayuda/consejo.