Marco de datos :
Df row1 : Ravi Computers 20 Df row2 : Jon Electronics 21 Df row3 : Sam arts 20¿Cómo puedo escribir para escribir en el archivo s3 como
Line1: Index:Ravi Line2: Ravi Computers 20 Line3: Index:Jon Line4: Jon Electronics 21 Line5: Index:Sam Line6: Sam arts 20Para escribir Spark SQL DataFrame en 2 líneas en S3, debe map cada fila de DF a la cadena respectiva con una nueva línea \n :
val df = sc.parallelize(Seq(("Ravi","Computers",20),("Jon","Electronics",21), ("Sam","arts",20))).toDF df.map(r => s"Index:${r.getString(0)}\n${r.getString(0)} ${r.getString(1)} ${r.getInt(2)}").write.csv("s3n://........")Escribirá el DF en el formato de salida esperado:
Line1: Index:Ravi Line2: Ravi Computers 20 Line3: Index:Jon Line4: Jon Electronics 21 Line5: Index:Sam Line6: Sam arts 20