Esto me está volviendo loco.
Necesito que mi servidor descargue 100 archivos relativamente pequeños de S3 (máximo 2 Mb).
Siempre funciona para ~95% de los archivos, pero bloquea los últimos 6-8 archivos. La devolución de llamada de resolve o reject nunca se llama...
Traté de descargar archivos en paralelo ...
Aquí está el código, que técnicamente funciona en el 95% de los casos:
let singleGetFromS3 = (bucket, fileName) => { return new Promise((resolve, reject) => { let extension = getFileNameExtension(fileName); fs.stat(`./${fileName}`, (err, stat) => { if (err === null) { console.log(`${fileName} exists locally`); resolve(fileName); } else if(err.code === 'ENOENT') { let params = {Bucket: bucket, Key: fileName}; let file = require('fs').createWriteStream(`./tmp-${fileName}`); s3.getObject(params).createReadStream() .on('error', (error) => { return reject(error); }) .on('end', () => { fs.rename(`./tmp-${fileName}`, `./${fileName}`, reject); return resolve(fileName); }) .pipe(file); } else { reject(err); } }); }); };Usando:
"aws-sdk": "^2.23.0", node --version v4.5.0Parece que está escuchando el evento incorrecto para saber cuándo resolverlo. No desea resolver cuando se hayan leído todos los bytes de Readable de S3, desea resolver cuando file termine de escribir.
let singleGetFromS3 = (bucket, fileName) => { return new Promise((resolve, reject) => { let extension = getFileNameExtension(fileName); fs.stat(`./${fileName}`, (err, stat) => { if (err === null) { console.log(`${fileName} exists locally`); resolve(fileName); } else if(err.code === 'ENOENT') { let params = {Bucket: bucket, Key: fileName}; let file = require('fs').createWriteStream(`./tmp-${fileName}`); // Listen for the file to be done writing, then resolve file.on('finish', () => { fs.rename(`./tmp-${fileName}`, `./${fileName}`, reject); return resolve(fileName); }) s3.getObject(params).createReadStream() .on('error', (error) => { return reject(error); }) .pipe(file); } else { reject(err); } }); }); };