Al intentar acceder a un archivo desde un depósito de S3 mediante Scala, el nombre del depósito se agrega al frente del punto final y el punto final se vuelve incorrecto e inaccesible.
Bibliotecas:
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0" libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0" libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "2.8.0"Código:
sc.hadoopConfiguration.set("fs.s3a.endpoint", "[endpoint]") sc.textFile("s3a://[bucket_name]/testa.txt")Habilitar las direcciones URL de estilo de ruta resuelve el problema, ya que no se ha realizado ninguna configuración de hosts virtuales en el servidor donde está instalado S3. fs.s3a.path.style.access ( docs ) se puede establecer en verdadero para habilitar las direcciones URL de estilo de ruta.