Estoy intentando raspar la página web https://www.filmweb.no/kinotoppen/ para obtener el título y otra información debajo de cada película. Para otras páginas web, he estado bien ejecutando un par de líneas con html_nodes() y html_text() usando SelectorGadget para elegir los selectores de CSS para obtener las diferentes cosas que quería como tales:
html <- read_html("https://www.filmweb.no/kinotoppen/") title <- html %>% html_nodes(".Kinotoppen_MovieTitle__2MFbT") %>% html_text()Sin embargo, cuando ejecuto esas líneas en esta página web, solo obtengo un vector de caracteres vacío. Al inspeccionar más la página web, veo que está llamando a javascripts. Intenté usar html_nodes ("script") junto con la biblioteca v8 para ejecutar los javascripts, pero fue en vano. Tampoco estoy seguro de qué scripts ejecutar, así que probé todos como tales:
ct <- v8() ct$eval(scripts[3])¿Hay una manera más fácil en general de hacer que la página web tenga un formulario en el que pueda usar rvest? No sé nada sobre javascript.
Así es como se vería usar RSelenium para que la página se cargue.
library(rvest) library(RSelenium) remDr <- rsDriver(browser='chrome', port=4444L) brow <- remDr[["client"]] brow$open() brow$navigate("https://www.filmweb.no/kinotoppen/") h <- brow$getPageSource() h <- read_html(h[[1]]) h %>% html_nodes(".Kinotoppen_MovieTitle__2MFbT") %>% html_text() # [1] "Spider-Man: No Way Home" "Clifford: Den store røde hunden" "Lise & Snøpels - Venner for alltid" # [4] "Familien Voff - alle trenger en venn" "Nightmare Alley" "Snødronningen" # [7] "Scream" "Bergman Island" "Trøffeljegerne fra Piemonte" # [10] "Encanto"Los datos se recuperan dinámicamente de una consulta de graphql. Puede replicar esa consulta para obtener la respuesta JSON que contiene todos los datos deseados.
En este caso, opté por ver el uso de httr2 y el nuevo operador de tubería (R 4.1.0)
Para saber cómo canalizar el vector de encabezados, miré la solución dada por @MrFlick aquí .
library(httr2) headers = c( 'Accept' = 'application/json', 'Referer' = 'https://www.filmweb.no/', 'Content-Type' = 'application/json', 'User-Agent' = 'Mozilla/5.0' ) params = list( 'query' = 'query($date:String,$chartType:String,$max:Int){movieQuery{getMovieChart(date:$date,chartType:$chartType,max:$max){chartType periodStart periodEnd movieChartItem{pos posPrev admissions admissionsPrev admissionsToDate weeksOnList movie{title mainVersionId premiere poster{name versions{width height url}}}}}}}', 'variables' = '{"date":"2022-02-04","chartType":"weekend","max":1000}' ) data <- request("https://skynet.filmweb.no/MovieInfoQs/graphql/") |> (\(x) req_headers(x, !!!headers))() |> req_url_query(!!!params) |> req_perform() |> resp_body_json()