Soy nuevo en Spark, descargué Spark precompilado.
Cuando intento ejecutar spark-shell desde la carpeta bin en la línea de comando, devuelve
:cd /users/denver/spark-1.6/bin
:spark-shellComando no encontrado
Pero si lo ejecuto como
:cd /users/denver/spark-1.6
:./bin/spark-shell
lanza chispa..
¿Puede decirme por qué arroja un error en el primer caso?
La razón por la que no puede ejecutar el comando spark-shell en el primer caso es debido a environment variable
El terminal busca ejecutables en $PATH . Esta es una variable de entorno de Unix que enumera los directorios que contienen archivos binarios del sistema (como ls , echo o gcc ). Si llama a un ejecutable que no está en un directorio $PATH (como spark-shell ), debe indicar su ruta absoluta en el sistema de archivos.
En la terminal . es un sinónimo del directorio de trabajo actual, por lo que ./bin/spark-shell puede funcionar correctamente. También podría llamar a ./some/path/bin/spark-shell .
Espero eso ayude.
en linux:
Agregar a su ~/.bashrc
exportar SPARK_HOME=/home/das/spark-1.6.2-bin-hadoop2.6 exportar PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
Fuente ~/.bashrc. Vuelva a iniciar el terminal y Spark-Shell funcionará desde cualquier lugar. Si no funciona, agréguelo a ~/.profile.
Esto me pasó a mí también. El uso de ./bin/spark-shell después de cambiar al directorio de chispa debería resolver el problema.