En AWS Glue, leo los datos del catálogo de datos en un marco dinámico de pegamento. Luego, convierta el marco dinámico en un marco de datos de chispa para aplicar transformaciones de esquema. Para volver a escribir los datos en s3, he visto a los desarrolladores convertir el marco de datos nuevamente en un marco dinámico. ¿Hay alguna ventaja sobre escribir un marco dinámico de pegamento para escribir un marco de datos de chispa?
Encontrará que hay una funcionalidad que está disponible solo para la clase de escritor de marcos dinámicos a la que no se puede acceder cuando se usan marcos de datos:
from_jdbc_confglueparquet como formato. Estos son algunos de los casos de uso que se me ocurren, pero si tiene un caso de uso que requiere el uso de modos de guardado, por ejemplo, mode('overwrite') , podría usar marcos de datos. Sin embargo, existe un enfoque similar en el marco dinámico, pero se implementa de forma ligeramente diferente. Puede echar un vistazo a [purge_s3_path][3] y luego escribir.