Me preguntaba si alguien podría ayudarme con esto.

Mi código:

 from gc import callbacks import re import scrapy from scrapy import Spider from scrapy.http import FormRequest from scrapy_splash import SplashRequest class ProvinciaSpider(Spider): name = 'provincia' allowed_domains = ['aduanet.gob.pe'] start_urls = ['http://www.aduanet.gob.pe/cl-ad-itconsmanifiesto/manifiestoITS01Alias?accion=cargaConsultaManifiesto&tipoConsulta=salidaProvincia'] def parse(self, response): data ={ 'accion': 'consultaManifExpProvincia', 'salidaPro': 'YES', 'strMenu': '-', 'strEmpTransTerrestre': '-', 'CMc1_Anno': '2022', 'CMc1_Numero': '354', 'CG_cadu': '046', 'viat': '1'} yield FormRequest('http://www.aduanet.gob.pe/cl-ad-itconsmanifiesto/manifiestoITS01Alias', formdata=data, callback=self.parse_form_page) def parse_form_page(self, response): #I extract and yield

Hasta aquí no he usado splash y ya estoy dentro de la página donde puedo extraer sin problema, el problema viene cuando quiero pasar a la siguiente página y hacer lo mismo.

 XPath of the "next page" link: /html/body/form[1]/table[4]/tbody/tr/td/table[2]/tbody/tr/td[3]/a which I reduced to this: /html/body/form[1]//td[3][@class="lnk7"]

Ahora, dentro de la página def parse_form_page y después de la parte extract and yield, coloco este script y produzco SplashRequest.

 script = """function main(splash) assert(splash:go(splash.args.url)) splash:wait(0.3) button = splash:select("/html/body/form[1]//td[3][class=lnk7] a") splash:set_viewport_full() splash:wait(0.1) button:mouse_click() splash:wait(1) return {url = splash:url(), html = splash:html()} end""" yield SplashRequest(url ='http://www.aduanet.gob.pe/cl-ad itconsmanifiesto/manifiestoITS01Alias', formdata=data, callback =self.parse_form_page, endpoint='execute', args = {'lua_source': script})

Sé que esto está mal porque no funciona, todavía está extrayendo la primera página. Creo que la parte del script está bien, pero no estoy seguro de cómo hacer la parte de rendimiento, he visto códigos donde solo ponen url=url. Entran a la página con splash y no tenía como una página de inicio de sesión, por eso es que realmente no sé cómo hacer esta parte.

Estoy usando splash para esta parte porque los enlaces de "siguiente página" son así:

 <a href="javascript:paginacion(10,1)">Siguiente</a>