Bastante nuevo en la codificación, por lo que esta pregunta puede responderse fácilmente, pero después de escanear Internet durante 2 días y aún no tener una solución real, pensé en preguntar aquí.
Entonces, como explica el título, tengo un iframe dentro de un sitio web que quiero raspar con un atributo de identificación (simplemente lo llamaremos iframeid ) y en algún lugar dentro de este iframe tengo un contenedor div con un atributo de clase (lo llamaremos it divclass ) que contiene, además de otros elementos, varias etiquetas <a> . Mi objetivo es obtener una matriz en la que se enumeren todos los enlaces de esas etiquetas <a> , hasta la fecha, solo logré lo siguiente a través de la investigación y un poco de suerte:
const elementHandle = await page.waitForSelector('iframe#iframeid'); const frame = await elementHandle.contentFrame(); await frame.waitForSelector('div[class=divclass] a'); var x = 2; //a var to determine which a tag I want const oneA= await frame.$('div[class=entryLayer] a:nth-child(' + x + ')'); const link = await (await oneA.getProperty('href'))._remoteObject.value; console.log(link); Lo que hace es tomar una variable y extrae el enlace de su etiqueta <a> correspondiente, pero no sé cómo ponerlo en un bucle y, además, la cantidad de etiquetas <a> varía, lo que hace que la bucle para que yo codifique aún más difícil.
¿No sería incluso posible omitir el bucle por completo? Encontré preguntas similares de stackoverflow, pero una, por ejemplo, solo tenía una etiqueta <a> que parece cambiar el código por completo.
Al final, solo quiero una pieza de código funcional que yo, como novato, pueda entender pero que sea bastante compacta al mismo tiempo. ¡Gracias por ayudar de antemano!
EDITAR
Mi solución con la ayuda de un comentario:
const elementHandle = await page.waitForSelector('iframe#iframeid'); const frame = await elementHandle.contentFrame(); const thisDiv = await frame.waitForSelector('div[class=divclass]'); const xpath_expression = '//a[@href]'; await page.waitForXPath(xpath_expression); const links = await thisDiv.$x(xpath_expression); const link_urls = await thisDiv.evaluate((...links) => { return links.map(e => e.href); }, ...links); console.log(link_urls);Sin embargo, saca algunos otros enlaces extraños, pero los filtraré normalmente.
Como sé, en cada iframe se puede tratar como una página diferente. Aquí está la referencia que usé para el mismo tipo de tarea https://stackoverflow.com/a/54940865/17755263