Empresas
Empleos
  • Sobre nosotros
  • Soluciones
    • Publicación de vacantes
      Publica tu vacante y recibe candidatos calificados en 48h.
    • Evaluación de candidatos
      500+ pruebas técnicas y psicológicas, más anti-fraude.
    • Headhunting
      Búsqueda ejecutiva a la medida de principio a fin.
    • Nómina + EOR
      Dispersión de nómina y EOR en más de 15 países de LATAM.
  • Precios
  • Empleos

0

171
Vistas
Aplane un documento json anidado usando Spark y cárguelo en Elasticsearch

Soy relativamente nuevo en la programación de Spark y Java. Dado un archivo json con objetos anidados, necesito aplanar su estructura (desnormar el contenido) y cargarlo en Elastisearch usando chispa.

Por ejemplo,

si el contenido de mi ejemplo.json es:

 { "title": "Nest eggs", "body": "Making your money work...", "tags": [ "cash", "shares" ], "comments": { "name": "John Smith", "comment": "Great article", "age": 28, "stars": 4, "date": "2014-09-01" } "owner": { "name": "John Smith", "age": 28, } }

Me gustaría reconstruir esto en el siguiente formato y cargarlo en ES usando chispa.

 { "title": "Nest eggs", "body": "Making your money work...", "tags": [ "cash", "shares" ], "comments_name": "John Smith", "comments_comment": "Great article", "comments_age": 28 "comments_stars": 4, "comments_date": "2014-09-01" "owner_name": "John Smith", "owner_age": 28, }

En caso de que uno de los objetos anidados esté vacío, el contenido también se puede dejar vacío.

Cualquier ayuda es apreciada. Gracias

over 4 years ago · Santiago Trujillo
1 Respuestas
Responde la pregunta

0

La respuesta que buscas está aquí .

Para resumir, puede simplemente seleccionar los campos que necesita a través de la notación de puntos.

 val df = sqlcontext.read.json(json) val flattened = df.select($"title", $"comments.name")
over 4 years ago · Santiago Trujillo Denunciar
Responde la pregunta
Encuentra empleos remotos

¡Descubre la nueva forma de encontrar empleo!

Top de empleos
Top categorías de empleo
Empresas
Publicar vacante Precios Comercial
Legal
Términos y condiciones Política de privacidad
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomiéndame algunas ofertas
Necesito ayuda