Estoy usando el servicio, que exporta la mayor parte de los datos en formato JSONL en la dirección URL remota. Puede ser un archivo grande, así que quiero leerlo línea por línea para evitar problemas de memoria. Además, sería genial poder reanudar en una línea específica en caso de algún error.

Sospecho que aquí se usará NodeJS Streams, pero estoy confundido acerca de cómo hacerlo. Todos los ejemplos que estoy encontrando están usando flujos de sistema de archivos.

Para las solicitudes de red, estoy usando la biblioteca superagent que puede canalizar los datos . También descubrí que para leer flujo línea por línea es bueno usar el módulo readline NodeJS. Pero simplemente no veo cómo juntar estas dos piezas de código.

 superagent.get(URL).pipe(...) const rl = readline.createInterface({ input: /* what goes here ? */, output: process.stdout, terminal: false })

Y no está claro si este enfoque me permitirá implementar la función de currículum de alguna manera.