Estoy tratando de escribir una consulta para obtener los valores únicos de un atributo de la colección fusionada final (sm-Survey-merged). Algo como:
select distinct(participantID) from sm-Survey-merged;Recibo un error de caché de árbol con la siguiente consulta JS equivalente. ¿Alguien puede ayudarme con una consulta mejor?
[...new Set (fn.collection("sm-Survey-merged").toArray().map(doc => doc.root.participantID.valueOf()).sort(), "unfiltered")]Si hay muchos documentos e intenta leerlos todos en una sola consulta, entonces corre el riesgo de explotar el caché de árbol expandido. Puede intentar aumentar ese límite, pero con una gran base de datos con muchos documentos, es probable que alcance ese límite.
La forma más rápida y eficiente de generar una lista de valores únicos es crear un índice de rango y seleccionar los valores de ese léxico con cts.values() .
Sin un índice, podría intentar realizar consultas iterativas que busquen y recuperen un conjunto de valores aleatorios y luego realizar búsquedas adicionales que excluyan los valores vistos anteriormente. Esto aún corre el riesgo de explotar el caché de árbol expandido, los tiempos de espera, etc. Por lo tanto, puede que no sea ideal, pero le permitiría obtener información ahora sin volver a indexar los datos.
Puede experimentar con la cantidad de iteraciones y el tamaño de la página de búsqueda y ver si eso se mantiene dentro de los límites y proporciona resultados consistentes. Tal vez agregue algunos registros o indicadores para saber si ha alcanzado el límite de iteración, pero aún tiene más valores devueltos para saber si es una lista completa o no. También puede intentar ejecutar sin un límite de iteración, pero corre el riesgo de generar errores OOM o ETC.
function distinctParticipantIDs(iterations, values) { const participantIDs = new Set([]); const docs = fn.subsequence( cts.search( cts.andNotQuery( cts.collectionQuery("sm-Survey-merged"), cts.jsonPropertyValueQuery("participantID", Array.from(values)) ), ("unfiltered","score-random")), 1, 1000); for (const doc of docs) { const participantID = doc.root.participantID.valueOf(); participantIDs.add(participantID); } const uniqueParticipantIDs = new Set([...values, ...participantIDs]); if (iterations > 0 && participantIDs.size > 0) { //there are still unique values, and we haven't it our iterations limit, so keep searching return distinctParticipantIDs(iterations - 1, uniqueParticipantIDs); } else { return uniqueParticipantIDs; } } [...distinctParticipantIDs(100, new Set()) ]; Otra opción sería ejecutar un trabajo CoRB en la base de datos y aplicar la opción EXPORT-FILE-SORT con ascending|distinct o descending|distinct para deduplicar los valores producidos en un archivo de salida.