Estoy tratando de obtener algunos datos de una página web:

https://www.cabotcorp.com/solutions#product-index

En esta página web, cada vez que se desplaza hacia abajo hasta el final, tarda un par de segundos y luego carga un nuevo conjunto de elementos.

Cuando eso sucede, se agrega algo al HTML que quiero ver con selenio en python.

Así que mi pregunta es bastante general:

¿Hay alguna forma de forzar la función que carga los nuevos elementos?

Mi primera idea es la siguiente:

 driver.execute_script("arguments[0].scrollIntoView();", driver.find_element(By.CLASS_NAME, "some class at the bottom of the page"))

Este es el código que usaría para permitir que el selenio se desplace hacia abajo hasta algún elemento de la página web. Después de eso, simplemente dormía durante un período de tiempo determinado para asegurarme de que se cargaban los nuevos elementos.

Sin embargo, noté que esta página web usa "ddscrollspy"

https://github.com/dynamicdriverepo/ddscrollspy

¿Hay alguna manera de usar selenio para activar un nuevo conjunto de elementos? Básicamente estoy buscando una función que active ciertos Javascripts que están disponibles en una determinada página web.

Editar:

Un amigo sugirió buscar desencadenantes:

Esto es lo que encontré en Chrome:

Así que ahora tengo acceso al código que se ejecuta cada vez que se carga algo nuevo. Ahora solo necesito saber cómo activar ese código a pedido.

Gracias por la ayuda.