Estoy usando selenio para raspar la página de resultados de búsqueda de Amazon. Mientras lo terminaba, cambié mi raspado al modo sin cabeza, ya que ahorrará eficiencia. Sin embargo , en el modo sin cabeza, ciertos elementos de la página no están disponibles , como la marca patrocinada. Funciona perfectamente bien cuando se usa el modo sin cabeza, pero falla incluso después de configurar las siguientes opciones:

 options = Options() #options.headless = True options.add_argument("--window-size=1920,1080") options.add_argument("--disable-extensions") options.add_argument("--proxy-server='direct://'") options.add_argument("--proxy-bypass-list=*") options.add_argument("--start-maximized") options.add_argument('--headless') options.add_argument('--disable-gpu') options.add_argument('--disable-dev-shm-usage') options.add_argument('--no-sandbox') options.add_argument('--ignore-certificate-errors') options.add_argument('--allow-running-insecure-content') driver = webdriver.Chrome(options=options)

PD: Probé con y sin la sección comentada así como solo con la sección comentada.

Para fines de aclaración, hice una captura de pantalla de cada ejemplo: así es como se ve cuando se ejecuta en modo sin cabeza y así es como se ve normalmente (sin el modo sin cabeza y con la navegación normal del usuario). Me pregunto qué más se debe agregar para que aparezca la información de la marca patrocinada cuando la ejecuto en modo sin cabeza. Estoy pensando que puede ser un problema con JavaScript que no se comunica correctamente con el navegador.

Como siempre, gracias de antemano!!