¿Es posible crear una extensión de Chrome que contenga un script de titiritero para raspar y automatizar el navegador?
Me gustaría crear uno en el que un usuario ingrese una URL, haga clic en un botón y luego se ejecute un script de titiritero. ¿Es esto posible? De ser así, ¿cuál sería la mejor manera de implementarlo?
He visto algunas respuestas que se refieren a titiritero-web, pero parece que el equipo de titiritero eliminó titiritero-web, ¿hay alguna nueva forma de implementar esto?
La respuesta corta es: no, no es posible.
Puppeteer solo se ejecuta en Node.Js en este momento, lo que significa que es una solución de back-end, no hay otra forma de ejecutar su script que no sea ejecutarlo en un servidor (la extensión del navegador se considera del lado del cliente).
En teoría: *
Sin embargo, puede usar Express para exponer los resultados de su titiritero a un punto final de API, donde puede definir qué página desea raspar con un parámetro de url GET (por ejemplo, la página de inicio de Google: https://my-server.com/my-puppeteer- punto final?url=https://google.com ). Esto podría ser llamado por el clic de su extensión.
Nota: esto significa que https://my-server.com debería estar disponible las 24 horas del día, los 7 días de la semana para atender su extensión. A modo de ejemplo, así es como las extensiones de navegador Grammarly o Google Translate se comunican con sus API oficiales.
Fragmentos de la solución aconsejada:
// puppeteer const getPage = async (url) => { ... await page.goto(url) ... return resultsOfScraping } // express app.get('/my-puppeteer-endpoint', async (req, res) => { try { const url = req.query.url const response = await getPage(url) res.json(response) console.log(`/my-puppeteer-endpoint?url=${url} endpoint has been called!`) } catch (e) { console.error(e) } })Puede obtener más ideas de la respuesta perenne de Thomas Dondorf sobre el uso del titiritero del lado del cliente: Cómo hacer que Puppeteer funcione con una aplicación ReactJS en el lado del cliente
En el lado de la extensión, debe asegurarse de dar permiso a su servidor https://my-server.com para ser llamado sin errores CORS, consulte esta pregunta/respuesta .
* EDITAR/ADVERTENCIA: como en el servidor necesitará el indicador de lanzamiento de titiritero '--no-sandbox' , en general, le aconsejo que configure su propio sandbox en un servidor Linux si elige este camino (ver en el enlace de arriba).
Otra forma posible sería si creara una lista de dominios en la lista blanca donde podría permitir páginas en las que confía, otras estarían prohibidas por la extensión (es necesario que se implementen en el lado del servidor).