Problemas :

Estoy haciendo una búsqueda de datos de un sitio web que contiene miles de archivos .json , ahora estoy leyendo esos .json con un bucle directo para llamadas $.getJSON . Funciona bien dentro de ~3000 archivos, pero cuando el tamaño sube a 5000 o incluso a 20000 (número máximo que tengo que leer). El navegador Chrome se vuelve súper lento u obtiene ERR_INSUFFICIENT_RESOURCE .

Lo que estoy haciendo ahora mismo:

1. escanear a través de datos example.org/1.json a 20000.json
2. lea este contenido .json en arrayone[] , procese la matriz de datos capturados
3. basado en arrayone[] , hago otro $.getJSON en example.org/someplace/1.json a 20000.json
4. lea este contenido .json en arraytwo[]
5. comparar arrayone[] & arraytwo[]

Entonces, dado que tengo que leer 20000 archivos, en realidad es una llamada de 40000 $.getJSON .

Busca ayuda:

¿Existe una forma más inteligente de leer múltiples .json con un mejor rendimiento? Espero que quede claro, gracias de antemano!