Me pregunto si la siguiente función es compatible con MongoDB . Al agregar un nuevo fragmento al clúster de particionamiento existente que actualmente usa hashed sharding , algunos documentos en los fragmentos antiguos deben migrarse al nuevo fragmento.
Pregunta: ¿Mongodb puede manejar este proceso automáticamente?
Gracias de antemano.
Sí. Ingenuamente, imaginaría una implementación tomando un código hash de un campo clave, haciendo un módulo de la cantidad de nodos en un clúster y poniendo el valor en ese nodo. Agregar un nodo/fragmento al clúster cambiaría el valor de su módulo y todos los datos se codificarían, por lo que no sería posible agregar un nodo.
Para solucionar este problema, los sistemas distribuidos lo hacen de forma un poco diferente. El código hash, en lugar de asignarse a una máquina física, se asigna a lo que en mongodb se denomina "fragmento". En Apache Spark esto sería una partición. Hay más fragmentos que nodos, pero muchas filas de datos se asignan a un "fragmento".
Como ejemplo, podría imaginar si tiene diez millones de filas y 5 hosts, podría tomar el hashcode modulo 100 para que sus diez millones de filas tengan 100 claves únicas con las que seleccionar de manera determinista un nodo en el clúster, luego administra un mapeo que elige el nodo 1 para las claves 1 a 20, el nodo 2 para las claves 21 a 40, etc. Cuando agrega un quinto nodo, un proceso de reequilibrio puede mover "trozos" de un nodo a otro y actualizar la tabla de mapeo. Dado que la tabla de mapeo solo registra ubicaciones de nodos para cien fragmentos, y no para todas las filas, esto es manejable.
Mongodb utiliza un proceso en segundo plano para monitorear cuántos fragmentos hay en un nodo y moverlos según sea necesario.
"Piezas" en mongodb: https://docs.mongodb.com/v3.2/core/sharding-data-partitioning/
Reparación: https://docs.mongodb.com/v3.2/core/sharding-balancer-administration/