Estoy usando un servidor Node.js simple para enviar un archivo JSON grande al cliente, donde cada línea tiene un objeto JSON independiente. Me gustaría enviar este archivo al cliente una línea a la vez. Pero mi problema es que el servidor espera hasta que se haya llamado a response.end() para enviar todo de una vez.

El código de mi servidor se ve así:

 http.createServer(async function (request, response) { response.writeHead(200, {"Content-Type": "application/json; charset=UTF-8", "Transfer-Encoding": "chunked", "Cache-Control": "no-cache, no-store, must-revalidate", "Pragma": "no-cache", "Expires": 0}); response.write(JSON.stringify('["The first bit of JSON content"]\n')); response.write(await thisFunctionTakesForever()); response(end); }

Realmente no quiero que el usuario espere hasta que se haya cargado todo el archivo JSON antes de que mi secuencia de comandos pueda comenzar a analizar los resultados. ¿Cómo puedo hacer que mi servidor envíe los datos en fragmentos?

Información adicional: ¿Cómo sé que mi servidor Node.js no está enviando ninguna parte del archivo hasta que se haya llamado a response.end ?

Estoy usando XMLHttpRequest para manejar los fragmentos a medida que llegan. Entiendo que http.responseText siempre crece con cada fragmento, así que lo filtro para encontrar las nuevas líneas que llegan cada vez:

 let http = new XMLHttpRequest(); http.open('GET', url, true); http.setRequestHeader('Content-type', 'application/x-www-form-urlencoded'); http.onreadystatechange = function() { if(http.readyState >= 3 && http.status == 200) { // Parse the data as it arrives, throwing out the ones we've already received // Only returning the new ones let json = http.responseText.trim().split(/[\n\r]+/g) let dataChunks = json.map(e => JSON.parse(e)); let newResults = []; for(let i=0; i<dataChunks.length; i++) { if(!previousResults.map(e => e[0]).includes(dataChunks[i][0])) { newResults.push(dataChunks[i]); } } previousResults = previousResults.concat(newResults); } } http.send();

La matriz resultados previousResults debería crecer lentamente con el tiempo. Pero en cambio, hay un gran retraso, luego todo aparece de repente al mismo tiempo.

El siguiente hilo está relacionado. Pero desafortunadamente, ninguna de las soluciones propuestas resolvió mi problema... Node.js: codificación de transferencia fragmentada