Estoy tratando de comenzar con Spark. Tengo Hadoop (3.3.1) y Spark (3.2.2) en mi biblioteca. He configurado SPARK_HOME, PATH, HADOOP_HOME y LD_LIBRARY_PATH en sus respectivas rutas. También estoy ejecutando JDK 17 (echo y -version funcionan bien en la terminal).
Sin embargo, sigo recibiendo el siguiente error:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 21/10/25 17:17:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x1f508f09) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x1f508f09 at org.apache.spark.storage.StorageUtils$.<init>(StorageUtils.scala:213) at org.apache.spark.storage.StorageUtils$.<clinit>(StorageUtils.scala) at org.apache.spark.storage.BlockManagerMasterEndpoint.<init>(BlockManagerMasterEndpoint.scala:110) at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:348) at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:287) at org.apache.spark.SparkEnv$.create(SparkEnv.scala:336) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:191) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:277) at org.apache.spark.SparkContext.<init>(SparkContext.scala:460) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2690) at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:949) at scala.Option.getOrElse(Option.scala:189) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:943) at org.apache.spark.repl.Main$.createSparkSession(Main.scala:106) ... 55 elided <console>:14: error: not found: value spark import spark.implicits._ ^ <console>:14: error: not found: value spark import spark.sql ^ Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 3.2.0 /_/ Using Scala version 2.12.15 (OpenJDK 64-Bit Server VM, Java 17.0.1) Type in expressions to have them evaluated. Type :help for more information.Alguna idea de cómo solucionar este problema?
Java 17 no es compatible: Spark se ejecuta en Java 8/11 (fuente: https://spark.apache.org/docs/latest/ ).
Así que instale Java 11 y apunte Spark a eso.
La advertencia unable to load native-hadoop library for platform es bastante común y no significa que algo ande mal.
Abra su terminal y escriba este comando --> gedit .bashrc
Asegúrese de agregar el nativo después de lib como se muestra a continuación
export HADOOP_OPTS = "-Djava.library.path=$HADOOP_HOME/lib/native"y guarde el archivo y escriba este comando en la fuente del terminal ~/.bashrc
Prueba esto te puede ayudar.