Estoy construyendo un web scraper usando node js y selenium. Aparentemente, el selenio no tiene la capacidad de modificar el encabezado de la solicitud de obtención. Por lo que leí en el desbordamiento de pila, esto se puede resolver usando la extensión ModHeader de Chrome. Sin embargo, cuando trato de usar uno de los encabezados de prueba predefinidos, la extensión se carga pero el encabezado predefinido no está presente. Supongo que algo anda mal con el controlador.executscript() pero no estoy seguro, ya que no se arroja ningún error:
var driver = new Builder().forBrowser('chrome').setChromeOptions(new chrome.Options().addExtensions('ModHeader.crx')/*.headless()*/).build() driver.executeScript(function () { localStorage.setItem('profiles', JSON.stringify( [{"appendMode":false,"backgroundColor":"#6a83a1","filters":[],"headers":[{"comment":"","enabled":true,"name":"","value":""},{"comment":"","enabled":true,"name":"User-Agent","value":"'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'"}],"hideComment":true,"respHeaders":[],"shortTitle":"1","textColor":"#ffffff","title":"Profile 1","urlReplacements":[],"alwaysOn":true}] )//end of stringify )//end of setItem })//end of executescript driver.get("http://stackoverflow.com/")