Estoy construyendo un raspador web usando ciprés para raspar todas las aplicaciones del mercado de Atlassian

https://marketplace.atlassian.com/search

El problema es que la página tiene un botón para cargar más en el que se debe hacer clic para cargar más aplicaciones. Cuando hice esto en cpypress, tardé una eternidad en desplazarme y cargar todas las aplicaciones.

Mi código:

 import { times } from 'lodash' describe('Scraping Marketplace', () => { it('Visits The Marketlace and scrape all data to csv', () => { cy.visit('https://marketplace.atlassian.com/addons/top-rated'); cy.get('.css-yki7vm-AkButtonWrapper > button').find('span').should('exist').then(() => { times(10000, () => { if (cy.get('.css-yki7vm-AkButtonWrapper > button').find('span').should('exist')) { cy.get('.css-yki7vm-AkButtonWrapper > button').find('span').click({force: true}); } else { return false; } }); }) }) })