Configuré un Azure HdInsight Linux Spark Cluster que debería venir con la versión 1.5.2 de Spark. Sin embargo, si trato de generar el número de versión usando sparkContext.version, sigo obteniendo 1.4.1.
¿Hay tal vez un paso que me estoy perdiendo con la configuración? He estado arrancando clústeres tanto a través de la GUI como a través de scripts.
Este es un error conocido de nuestro lado. La versión binaria es en realidad 1.5.2 pero se informa incorrectamente.