Estoy tratando de iniciar sesión en un sitio web. Cuando miro print(g.text) no obtengo la página web que esperaba, sino una página de cloudflare que dice "Comprobando su navegador antes de acceder"
import requests import time s = requests.Session() s.get('https://www.off---white.com/en/GB/') headers = {'Referer': 'https://www.off---white.com/en/GB/login'} payload = { 'utf8':'✓', 'authenticity_token':'', 'spree_user[email]': 'EMAIL@gmail.com', 'spree_user[password]': 'PASSWORD', 'spree_user[remember_me]': '0', 'commit': 'Login' } r = s.post('https://www.off---white.com/en/GB/login', data=payload, headers=headers) print(r.status_code) g = s.get('https://www.off---white.com/en/GB/account') print(g.status_code) print(g.text)¿Por qué ocurre esto cuando configuré la sesión?
Es posible que desee probar esto:
import cloudscraper scraper = cloudscraper.create_scraper() # returns a CloudScraper instance # Or: scraper = cloudscraper.CloudScraper() # CloudScraper inherits from requests.Session print scraper.get("http://somesite.com").text # => "<!DOCTYPE html><html><head>..."No requiere dependencia de Node.js. Todos los creditos van a esta pagina de pypi
Esto se debe al hecho de que la página utiliza la página anti-bot de Cloudflare (o IUAM).
Eludir esta verificación es bastante difícil de resolver por su cuenta, ya que Cloudflare cambia sus técnicas periódicamente. Actualmente, verifican si el cliente es compatible con JavaScript, que puede ser falsificado.
Recomendaría usar el módulo cfscrape para evitar esto.
Para instalarlo, use pip install cfscrape . También deberá instalar Node.js.
Puede pasar una sesión de solicitudes a create_scraper() así:
session = requests.Session() session.headers = ... scraper = cfscrape.create_scraper(sess=session)curl y hx evitan este problema. ¿Pero cómo? Encontré, funcionan por defecto con HTTP/2. Pero la biblioteca de requests usaba solo HTTP/1.1.
Entonces, para las pruebas, instalé httpx con la biblioteca h2 python para admitir solicitudes HTTP/2) y funciona si lo hago: httpx --http2 'https://some.url' .
Entonces, la solución es usar una biblioteca que admita http2. Por ejemplo httpx con h2
No es una solución completa, ya que no ayudará a resolver el desafío anti-bot ("I'm Under Attack Mode" o IUAM) de Cloudflare.