Quiero usar kotlin para programar en Spark 2.0.
Agregué los archivos jar de Spark y puedo usar JavaSparkContext en mi código, pero no puedo usar kotlin en Spark 2.0.
cuando uso SparkSession así:
SparkSession sc = SparkSession.builder(). ...Recibo este error: Referencia no resuelta: sparkSession
¿Es posible usar Kotlin para programar en Spark 2.0? En caso afirmativo, ¿cómo puedo hacer eso?
¿Es posible usar Kotlin para programar en Spark 2.0?
Sí, es un lenguaje JVM con muy buena interoperabilidad con Java, y Spark se puede usar desde Java.
En caso afirmativo, ¿cómo puedo hacer eso?
Tome los ejemplos de Java (no los de Scala) y conviértalos a Kotlin .
SparkSession sc = SparkSession.builder() no es Kotlin legal (y no produciría el error que das, ya que no menciona sparkSession ). Debería ser
val sc = ...o
val sc: SparkSession = ...