0
1.1K
VistasOmita el captcha de Cloudflare con cromo sin cabeza usando titiritero en Heroku
Estoy tratando de acceder a un sitio con cromo sin cabeza usando titiritero en Heroku. Mi configuración funciona cuando lo pruebo localmente en mi máquina, pero cuando lo pruebo montado en Heroku obtengo algo como esto: 
Entiendo que titiritero viene con javascript habilitado por defecto y por lo que he leído parece que no tiene nada que ver con eso.
Estoy usando puppeteer-extra-plugin-stealth , random-useragent y viewport randomization pero nada parece funcionar.
¿Podría ser que el titiritero y/o Chrome estén agregando cosas adicionales cuando se ejecutan localmente en comparación con Heroku?
Aquí está mi configuración:
const puppeteer = require('puppeteer-extra'); const StealthPlugin = require('puppeteer-extra-plugin-stealth'); puppeteer.use(StealthPlugin()); const randomUseragent = require('random-useragent'); const USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'; let browser = await puppeteer.launch( { headless: true, executablePath: process.env.CHROME_BIN || null, args: [ '--enable-features=NetworkService', '--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage' ], ignoreHTTPSErrors: true, dumpio: false} ); let page = await browser.newPage(); const userAgent = randomUseragent.getRandom(); const UA = userAgent || USER_AGENT; //Randomize viewport size await page.setViewport({ width: 1920 + Math.floor(Math.random() * 100), height: 3000 + Math.floor(Math.random() * 100), deviceScaleFactor: 1, hasTouch: false, isLandscape: false, isMobile: false, }); await page.setUserAgent(UA); await page.setJavaScriptEnabled(true); await page.setDefaultNavigationTimeout(0); await page.goto('https://external.site.example', { waitUntil: 'networkidle0' }); ...1 Respuestas
Responde la pregunta0
Logré solucionar mi problema siguiendo el comentario de Raphael PICCOLO sobre cómo se pueden detectar las direcciones IP. Ni mi máquina ni Heroku añadían ni eliminaban nada adicional, solo era la IP.
Utilicé un proxy que requería una cadena de proxy para evitar obtener el error net::ERR_NO_SUPPORTED_PROXIES .
Mi código terminó algo como esto:
const puppeteer = require('puppeteer-extra'); const StealthPlugin = require('puppeteer-extra-plugin-stealth'); puppeteer.use(StealthPlugin()); const randomUseragent = require('random-useragent'); const proxyChain = require('proxy-chain'); const USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'; const oldProxyUrl = process.env.PROXY_SERVER; const newProxyUrl = await proxyChain.anonymizeProxy(oldProxyUrl); let browser = await puppeteer.launch( { headless: true, executablePath: process.env.CHROME_BIN || null, args: [ '--no-sandbox', '--disable-setuid-sandbox', `--proxy-server=${newProxyUrl}` ], ignoreHTTPSErrors: true, dumpio: false} ); let page = await browser.newPage(); const userAgent = randomUseragent.getRandom(); const UA = userAgent || USER_AGENT; //Randomize viewport size await page.setViewport({ width: 1920 + Math.floor(Math.random() * 100), height: 3000 + Math.floor(Math.random() * 100), deviceScaleFactor: 1, hasTouch: false, isLandscape: false, isMobile: false, }); await page.setUserAgent(UA); await page.setJavaScriptEnabled(true); await page.setDefaultNavigationTimeout(0); await page.goto('https://external.site.example', { waitUntil: 'networkidle0' }); ...