Estoy tratando de usar un punto final de desarrollo para ejecutar y editar secuencias de comandos ETL de forma interactiva, pero parece que hay algunos problemas en el punto final de desarrollo justo después de crearlo, ya que recibo errores en scala/python REPL y tampoco puedo hacer el túnel SSH al intérprete remoto. Permítanme explicar lo que hice exactamente: creé un punto final de desarrollo en la consola de AWS con todas las configuraciones predeterminadas. Mientras creaba el punto final de desarrollo, solo proporcioné tres cosas: 'Nombre del punto final de desarrollo' y 'Rol de IAM' y mi 'clave ssh de publicación'. Así queda después de la creación
Luego, justo después de crear el punto final, me estoy conectando a Spark/Python REPL, puedo conectarme a ellos con éxito, pero a los pocos minutos de conectarme, REPL comienza a arrojar errores sin escribir una sola línea de código. Esto está sucediendo en todos los REPL presentes en los puntos finales de desarrollo.
Además, cuando intento hacer un túnel SSH a un intérprete remoto para conectar mi portátil Zeppelin local, aparece: "enlace: no se puede asignar la dirección solicitada".
Sin embargo, hay un par de cosas que funcionan:
¿Alguien puede ayudarme, por favor, qué estoy haciendo mal? ¿Me estoy perdiendo algún paso importante que deba realizarse en la máquina justo después de crear el punto final de desarrollo?
¡Gracias de antemano!
No estoy muy seguro acerca de este error, pero si está utilizando conjuntos de datos más pequeños, probablemente le gustaría usar la implementación de Docker, ya que no agregará ningún costo adicional y puede continuar con sus desarrollos.
Puede consultar este blog sobre cómo configurarlo
https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1