Estoy tratando de cargar un archivo de parquet de s3 a AWS postgresql RDS. La importación de datos usando aws_s3.table_import_from_s3 funciona bien para el archivo csv, pero cuando probé de manera similar para el archivo de parquet, aparece el siguiente error:
ERROR: secuencia de bytes no válida para codificar "UTF8": 0x00
En los documentos de AWS, veo la opción de delimitador personalizado o archivo zip. ¿Es posible importar datos de parquet?
La importación de datos a un AWS PostgreSQL RDS es compatible con lo que hace COPY . Aunque hay un formato de archivo binario de PostgreSQL, no es compatible con Parquet, por lo que para importar los datos, primero debe convertirlos a un archivo de texto o al formato de archivo binario de PostgreSQL.