Quiero ejecutar BeautifulSoup y selenium webdriver en amazon lambda y mi entorno de ejecución es python 3.6. ¿Es posible correr? si es así, cómo. Mi intención es desechar los datos de una página web usando Beautiful Soup 4 y selenio (ya que tiene que desechar los datos generados dinámicamente por javascript).
Si es posible. Debe empaquetar un controlador de cromo y un binario de Chrome sin cabeza junto con todos los paquetes de Python que necesita. También deberá configurar varias opciones en el controlador web Chrome de Selenium para que funcione.
Escribí un tutorial paso a paso después de pasar varias semanas frustrantes tratando de implementarlo.
Deberá crear un paquete de implementación y cargarlo en Lambda si va a utilizar dependencias fuera de la biblioteca estándar.
Tengo un escrito sobre el uso de BS4 y Lambda juntos. No utilicé Selenium dentro de Lambda, pero tengo una amplia experiencia en Selenium. No podrá ejecutar comandos dentro de un navegador usando Lambda. Necesitará tener un servidor remoto instalado, ejecutando Selenium Server . Descargue Selenium y los controladores web en la máquina en la que desea realizar el web scraping, inicie el archivo .jar , se abrirá un puerto en la máquina con la que se comunicará Selenium.
Teniendo en cuenta que necesitará una máquina que probablemente ejecute Windows para iniciar un navegador y raspar estas páginas, probablemente no necesite lambda al final.