Estoy un poco sorprendido de que leer un archivo json de 274,9 MB y almacenarlo en una variable como una matriz de objetos provoque un uso de 1,1 GB de memoria de tamaño de conjunto residente en node.js.
¿Cómo puede ser esto? me parece un poco excesivo.
import { readFile } from 'fs/promises' const raw = await readFile('big.json', 'utf8') const file = JSON.parse(raw) console.log('Length: ', file.length) console.log( `Memory: ${Math.round((process.memoryUsage().rss / 1024 / 1024) * 100) / 100} MB` ) Length: 920885 Memory: 1193.05 MBAquí están los contenidos de un objeto como ejemplo.
{ keyword: '1 hour circuit training', url: 'https://www.pinterest.com/pin/457467274629879495', rank: 1, page: 1, type: 'inline_images', title: 'image result', domain: '-', sitelinks: false } ....Esto es aproximadamente el tamaño esperado. El contenido de la cadena de big.json ocupa al menos la mitad de un gigabyte: JavaScript usa UCS-2, por lo que cada carácter debe ocupar necesariamente 2 bytes. Tenga en cuenta que no lo está liberando (sin declaración de delete ), por lo que todavía se hace referencia a él desde la pila cuando toma la medida. Es difícil decir exactamente cuál es el diseño de memoria de una "matriz de objetos", pero los objetos, al ser mapas hash, tienen algunos gastos generales. Si contienen cadenas, de nuevo, cuente cada carácter el doble. Con todo, este uso de la memoria es realista y no del todo inesperado.