Actualmente estoy tratando de hacer web scraping con nodo y titiritero sin cabeza de cromo. Uso un sitio web de votación, donde puedes votar solo 1 vez por hora, y estoy tratando de votar más (como 10 veces por hora, por ejemplo). Para este propósito utilizo diferentes direcciones IP y diferentes agentes de usuario. Pero el problema es que cuando cambio de IP parece que no funciona (no puedo votar) y cuando reviso mi IP (en algún sitio web como https://ipcost.com/ ) veo mi verdadero Dirección IP.
Aquí está el código que uso para lograr esto:
const chromeOptions = { headless:false, defaultViewport: null, args: [ '--disable-features=IsolateOrigins,site-per-process', '--flag-switches-begin --disable-site-isolation-trials --flag-switches-end', '--disable-features=UserAgentClientHint', `--proxy-server=http=user::passwordx@ip:port` ] (async() => { const browser = await puppeteer.launch(chromeOptions); .... })() };Esta es la primera vez que trabajo en web scraping y uso un proxy así. No pude encontrar ninguna respuesta a mi pregunta, creo que me estoy perdiendo algo o estoy haciendo algo mal.
Gracias de antemano por tu ayuda
Bien, tengo la respuesta. De hecho, titiritero no gestiona la solicitud de proxy de autenticación, así que cambio
`--proxy-server=http=user::passwordx@ip:port`por
`--proxy-server=http://ip:port`y añadir
await page.authenticate({ username: 'username', password: 'password' })