He estado usando servicios como Kafka Connect y Secor para conservar los archivos de Parquet en S3. No estoy muy familiarizado con HDFS o Hadoop, pero parece que estos servicios suelen escribir archivos temporales en la memoria local o en el disco antes de escribir de forma masiva en s3. ¿Los sistemas de archivos s3n/s3a virtualizan localmente un sistema de archivos de estilo HDFS y luego lo insertan a intervalos configurados o existe una correspondencia uno a uno entre una escritura en s3n/s3a y una escritura en s3?
No estoy completamente seguro de si estoy haciendo la pregunta correcta aquí. Cualquier orientación sería apreciada.
S3A/S3N simplemente implemente las API de Hadoop FileSystem en el almacén de objetos remotos, lo que incluye pretender que tiene directorios que puede renombrar y eliminar.
Históricamente, han guardado todos los datos que escribe en el disco local hasta que close() el flujo de salida, momento en el que se realiza la carga (que puede ser lenta). Esto significa que debe tener tanto espacio temporal como el objeto más grande que planea crear.
Hadoop 2.8 tiene un flujo de carga rápido que carga el archivo en bloques de más de 5 MB a medida que se escribe, luego, en el close() , lo hace visible en el almacén de objetos. Esto es considerablemente más rápido cuando se generan muchos datos en una sola transmisión. Esto también evita necesitar tanto espacio en disco.