Mi servicio de aplicaciones node.js actualmente accede a postgres mediante una consulta de selección proporcionada, lo convierte a csv y luego carga ese archivo CSV en S3.
Me pregunto si hay un mejor enfoque que funcione de manera más eficiente para extracciones de datos más grandes.
Esto debería llevarte ~ 90% allí. No he probado esta implementación exacta y puede haber un error tipográfico o dos, pero tengo un código similar ejecutándose en producción en este momento.
const { Transform } = require('json2csv'); const { Client, Query } = require('pg') const { S3 } = require('aws-sdk'); const { Passthrough } = require('stream') const client = new Client() const s3 = new S3({ region: 'us-east-1' }); const opts = { fields: ['field1', 'field2', 'field3'] }; const transformOpts = { highWaterMark: 8192, encoding: 'utf-8', objectMode: true }; const transform = new Transform(opts, transformOpts); const passthrough = new Passthrough(); transform.pipe(passthrough) client.connect() const query = new Query('SELECT field1, field2, field3 FROM table') client.query(query) query.on('row', row => { transform.push(row); console.log('row!', row) // { field1: 1, field2: 2, field3: 3 } }) query.on('end', () => { transform.push(null) console.log('query done') }) query.on('error', err => { transform.end(); console.error(err.stack) }) s3.upload({ Body: passthrough, Key: 'somefile.csv', Bucket: 'some_bucket' }) .send((err, data) => { if (err) { console.error({ err }); passthrough.destroy(err); } else { console.log(`File uploaded and available at ${data.Location}`); passthrough.destroy(); } });