Empresas
Empleos
  • Sobre nosotros
  • Soluciones
    • Publicación de vacantes
      Publica tu vacante y recibe candidatos calificados en 48h.
    • Evaluación de candidatos
      500+ pruebas técnicas y psicológicas, más anti-fraude.
    • Headhunting
      Búsqueda ejecutiva a la medida de principio a fin.
    • Nómina + EOR
      Dispersión de nómina y EOR en más de 15 países de LATAM.
  • Precios
  • Empleos

0

271
Vistas
Creación de una tabla externa de Hive en AWS EMR

Estoy intentando crear una tabla externa en hive a través de hue en AWS EMR

 CREATE EXTERNAL TABLE IF NOT EXISTS urls ( id STRING, `date` TIMESTAMP, url STRING, expandedUrl STRING, domain STRING ) PARTITIONED BY (`year` INT, `month` INT, `day` INT) STORED AS PARQUET LOCATION 's3://data/processed/urls/'
  • Creé un clúster EMR (emr-5.4.0) usando la consola de AWS.
  • Ingresado en Hue
  • Ejecute el SQL anterior

En Metastore Manager me sale el siguiente error:

No se puede acceder a: s3://data/processed/urls/. Nota: usted es un administrador de Hue, pero no un superusuario de HDFS, "hdfs" o parte del supergrupo de HDFS, "hadoop".

[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']

Tampoco puedo ver s3 en el Administrador de archivos. Puedo acceder a s3 desde el nodo maestro usando las herramientas de la CLI.

¿Hay alguna opción de configuración que me falta en la creación del clúster? ¿Necesito otorgar permisos adicionales al usuario de Hue?

ACTUALIZAR

He intentado crear un usuario hdfs y una nueva base de datos, como sugirió franklinsijo.

Ahora me sale el mismo error en la base de datos:

No se puede acceder: s3://data/processed.

[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']

Cuando el SQL "crear base de datos" se ejecuta desde la CLI de Hive, aparece "Acceso denegado". Estoy usando EMR_DefaultRole que tiene AmazonElasticMapReduceRole y AmazonS3FullAccess

ACTUALIZAR 2

He resuelto el problema con la ayuda de franklinsijo

  • Puedo crear bases de datos y tablas en s3 desde hive cli y hue .
  • Puedo leer y escribir datos de las tablas.
  • No puedo ver el S3 Browser como se detalla en http://gethue.com/introducing-s3-support-in-hue/
  • No puedo acceder a la tabla a través de 'Metastore Manager -> Base de datos -> Tabla -> ESTADÍSTICAS -> Ubicación'. Todavía recibo [Errno 22]
about 4 years ago · Santiago Trujillo
1 Respuestas
Responde la pregunta

0

[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']

Esto se debe a que la ubicación de la base de datos default de Hive se establece como HDFS (consulte aquí ). Cree una nueva base de datos de Hive con ubicación S3.

 CREATE DATABASE database_name LOCATION 'S3://Bucket/Key';

Luego cree tablas en esta base de datos recién creada.

No se puede acceder a: s3://data/processed/urls/. Nota: usted es un administrador de Hue, pero no un superusuario de HDFS, "hdfs" o parte del supergrupo de HDFS, "hadoop".

Cree un nuevo usuario de Hue llamado hdfs con estado de superusuario en la interfaz de usuario de Hue. Inicie sesión como usuario hdfs para ejecutar consultas.

about 4 years ago · Santiago Trujillo Denunciar
Responde la pregunta
Encuentra empleos remotos

¡Descubre la nueva forma de encontrar empleo!

Top de empleos
Top categorías de empleo
Empresas
Publicar vacante Precios Comercial
Legal
Términos y condiciones Política de privacidad
© 2026 PeakU Inc. All Rights Reserved.
Andres GPT
Recomiéndame algunas ofertas
Necesito ayuda