De acuerdo con los documentos, cuando crea una tabla en Athena, debe especificar la ubicación del archivo de datos de entrada en el depósito s3. Solo puede especificar la ubicación s3 que contiene ese archivo, pero no el archivo que se utilizará. Por ejemplo, tengo muchos archivos como type1.log.gz, type2.log.gz, type3.log.gz de diferente formato en una ubicación my-bucket/logs/.
Actualmente, la ubicación dada es 's3://my-bucket/logs/'
Entonces, ¿es posible especificar qué archivo (por ejemplo, type2.log.gz) se utilizará? ¿O tengo que copiar el archivo (type2.log.gz) a otra ubicación que no tenga otros archivos y especificar su ruta?
Athena espera que todos los datos dentro de una ubicación S3 tengan el mismo esquema. Esto es de gran ayuda cuando tiene una tabla muy grande, ya que se puede dividir en muchos archivos que Athena puede leer en paralelo, o cuando desea agregar datos a una tabla existente. Sin embargo, eso significa que simplemente no puede usar Athena en una situación en la que una ubicación S3 tiene archivos con diferentes esquemas.
En su caso, necesitaría mover el archivo que desea consultar a una ubicación diferente y luego crear una tabla que apunte a su ubicación, por ejemplo, si copia a s3://my-bucket/logs/type2/type2.log.gz , la tabla debe apuntar a s3://my-bucket/logs/type2 .
No, no es posible. Está obligado a copiar el archivo en un cubo externo
Ref : Confirmado por AWS