Estoy intentando crear una tabla externa en hive a través de hue en AWS EMR
CREATE EXTERNAL TABLE IF NOT EXISTS urls ( id STRING, `date` TIMESTAMP, url STRING, expandedUrl STRING, domain STRING ) PARTITIONED BY (`year` INT, `month` INT, `day` INT) STORED AS PARQUET LOCATION 's3://data/processed/urls/'EMR (emr-5.4.0) usando la consola de AWS.HueSQL anteriorEn Metastore Manager me sale el siguiente error:
No se puede acceder a: s3://data/processed/urls/. Nota: usted es un administrador de Hue, pero no un superusuario de HDFS, "hdfs" o parte del supergrupo de HDFS, "hadoop".
[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']
Tampoco puedo ver s3 en el Administrador de archivos. Puedo acceder a s3 desde el nodo maestro usando las herramientas de la CLI.
¿Hay alguna opción de configuración que me falta en la creación del clúster? ¿Necesito otorgar permisos adicionales al usuario de Hue?
ACTUALIZAR
He intentado crear un usuario hdfs y una nueva base de datos, como sugirió franklinsijo.
Ahora me sale el mismo error en la base de datos:
No se puede acceder: s3://data/processed.
[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']
Cuando el SQL "crear base de datos" se ejecuta desde la CLI de Hive, aparece "Acceso denegado". Estoy usando EMR_DefaultRole que tiene AmazonElasticMapReduceRole y AmazonS3FullAccess
ACTUALIZAR 2
He resuelto el problema con la ayuda de franklinsijo
hive cli y hue .S3 Browser como se detalla en http://gethue.com/introducing-s3-support-in-hue/[Errno 22] Esquema desconocido s3, esquemas disponibles: ['hdfs']
Esto se debe a que la ubicación de la base de datos default de Hive se establece como HDFS (consulte aquí ). Cree una nueva base de datos de Hive con ubicación S3.
CREATE DATABASE database_name LOCATION 'S3://Bucket/Key';Luego cree tablas en esta base de datos recién creada.
No se puede acceder a: s3://data/processed/urls/. Nota: usted es un administrador de Hue, pero no un superusuario de HDFS, "hdfs" o parte del supergrupo de HDFS, "hadoop".
Cree un nuevo usuario de Hue llamado hdfs con estado de superusuario en la interfaz de usuario de Hue. Inicie sesión como usuario hdfs para ejecutar consultas.