Sé que hay un par de publicaciones que hacen las mismas preguntas. Los probé todos, pero después de un par de noches sin dormir, tuve que hacer la pregunta y estaré muy agradecido si alguien puede ayudarme con el problema.
Así que estoy tratando de obtener las reseñas de una página de restaurantes de Yelp usando Python. Las reseñas se generan dinámicamente usando javascript. Intenté todas las formas posibles con scrapy, request-html, scrapy_splash, beautifulSoup. Nada funcionó. Me di cuenta de que incluso cuando uso Splash solo a través del navegador usando localhost: 8050, sigo teniendo el mismo problema. Traté de deshabilitar el modo privado y aumentar el tiempo de espera, pero eso no solucionó el problema. También lo probé tanto en firefox como en chromium, sigue igual.
Aquí está la página que estoy probando https://www.yelp.com/biz/brendas-french-soul-food-san-francisco-5
Notará que faltan los divs que contienen las reseñas.
Cualquier ayuda será muy apreciada.
Las revisiones que está buscando las carga js que solicita este punto final
https://www.yelp.com/biz/lJAGnYzku5zSaLnQ_T6_GQ/review_feed?rl=en&q=&sort_by=relevance_desc&start={offset value}Que muestra 10 comentarios y una gran cantidad de otros datos.