Estamos creando un Dockerfile simple, la última línea de ese archivo es
ENTRYPOINT ["sh", "-c", "spark-submit --master $SPARK_MASTER script.py"] El script.py es una aplicación pyspark simple (no es importante para esta discusión), esta aplicación pyspark recibe algunos parámetros que estamos tratando de pasar usando el comando docker de la siguiente manera
docker run --rm my_spark_app_image --param1 something --param2 something_else Pero script.py no obtiene ningún parámetro, es decir, el contenedor se ejecutó:
spark-submit --master $SPARK_MASTER script.pyEl comportamiento esperado es que el contenedor ejecute:
spark-submit --master $SPARK_MASTER script.py --param1 something --param2 something_else¿Qué estoy haciendo mal?
/bin/sh -c solo toma un argumento, el script para ejecutar. Todo lo que sigue a ese argumento es una variable de shell $0 , $1 , etc., que el script puede analizar. Si bien podría hacer esto con la sintaxis /bin/sh -c , es incómodo y no crecerá con usted en el futuro.
En lugar de tratar de analizar las variables allí, movería esto a un entrypoint.sh que incluye en su imagen:
#!/bin/sh exec spark-submit --master $SPARK_MASTER script.py "$@"Y luego cambie el Dockerfile para definir:
COPY entrypoint.sh /entrypoint.sh ENTRYPOINT ["/entrypoint.sh"] La sintaxis exec reemplaza el script de shell en PID 1 con el proceso de envío de chispa, que permite pasar las señales. El "$@" pasará a través de cualquier argumento de docker run , con cada argumento citado en caso de que tenga espacios en los parámetros. Y dado que se ejecuta mediante un script de shell, se $SPARK_MASTER .