Para abordar directamente su problema de tratar de raspar las publicaciones de FB en la consola del desarrollador, escribí un script sincrónico funcional que guarda todas las publicaciones en una matriz y su innerText en otra matriz a medida que se desplaza hacia abajo a través de la línea de tiempo de alguien. También registrará un recuento continuo de cuántas publicaciones se han eliminado y luego generará la matriz de todo el texto recopilado al finalizar.

NOTAS:

• Puede elegir cuánto tiempo desea que la secuencia de comandos se detenga antes de volver a desplazarse hacia abajo. Elegí dos segundos porque algunas publicaciones tardaban en cargarse.
• Mi secuencia de comandos deja de recopilar publicaciones una vez que detecta el evento generado en Facebook "Nacido el...", ya que ese es el primer elemento en la línea de tiempo. Puede elegir cualquier otro criterio que considere adecuado para detectar el final de la página. Acabo de encontrar que este es el más fácil.
• Es más sólido no usar selectores de CSS, ya que los nombres de las clases y los identificadores cambian cada vez que se carga una nueva instancia de Facebook. Una alternativa concisa es usar xpath en su lugar, que verá a continuación.
• Puede tener varias ventanas del navegador abiertas, pero este script solo funcionará si es la pestaña activa de su respectiva ventana del navegador.

 console.clear(); const allText = []; const allPosts = []; (function scrollAndScrape() { console.log('Total posts scraped:', allPosts.length) if ($x('//span[contains(text(), "Born on")]').length > 0) { console.log('Webscrape complete', '\n', allText) } else { let visiblePosts = $x('//div[@data-pagelet="ProfileTimeline"]/div') for (let i = 0; i < visiblePosts.length; i++) { if (!allPosts.includes(visiblePosts[i])) { allPosts.push(visiblePosts[i]) allText.push(visiblePosts[i].innerText) } window.scrollByLines(100) } setTimeout(scrollAndScrape, 2000); } })()

La salida se parece a esto:

 ... Total posts scraped: 176 Total posts scraped: 180 Total posts scraped: 187 Total posts scraped: 194 Total posts scraped: 200 Webscrape complete > Array(200) [TEXT BLOB, TEXT BLOB...]

Los blobs de texto incluirán muchos caracteres de cadena especiales, como caracteres de nueva línea ( \n ), pero una vez que ejecute su segundo fragmento de código (vea el bloque de código a continuación), el texto se imprimirá muy bien en la consola. Además, siempre puede formatear el postText como desee usando expresiones regulares.

 allText.forEach((postText, index)=>{console.log(index, postText)})

Para abordar el problema más general de que Facebook es difícil de raspar, recomendaría usar Selenium. Es compatible con Java, JavaScript, Python y Ruby. Selenium es una herramienta de navegador automatizada que admite varios controladores (Firefox, Chrome, etc.) y puede ejecutarse con o sin una GUI. Selenium está bien documentado con muchos seguidores, por lo que es fácil encontrar guías, tutoriales, etc. Todo lo que hace mi fragmento JS anterior se puede replicar con Selenium. Puedes seguir la misma lógica:

1. Recopilar todas las publicaciones visibles en una matriz
2. Desplácese hacia abajo (una manera fácil de hacerlo es usar el método sendKeys para activar el evento de tecla Page Down )
3. Recopile todas las publicaciones visibles nuevas y guárdelas en la matriz