Necesito obtener datos específicos de gz. como escribir el sql? ¿Puedo simplemente sql como base de datos de tabla?:
Select * from gz_File_Name where key = 'keyname' limit 10.pero siempre regresa con un error.
Debe crear una tabla externa de Hive sobre esta ubicación de archivo (carpeta) para poder consultar usando Hive. Hive reconocerá el formato gzip. Como esto:
create external table hive_schema.your_table ( col_one string, col_two string ) stored as textfile --specify your file type, or use serde LOCATION 's3://your_s3_path_to_the_folder_where_the_file_is_located' ;Consulte el manual sobre la tabla Hive aquí: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable
Para ser precisos, s3 bajo el capó no almacena carpetas, el nombre de archivo que contiene /s en s3 está representado por diferentes herramientas, como Hive, como una estructura de carpetas. Ver aquí: https://stackoverflow.com/a/42877381/2700344