Pocos antecedentes de la tarea: estoy construyendo un sistema de recuperación de carritos abandonados para Shopify. Después de que un usuario realiza un pago, Shopify llama a nuestro webhook y el webhook pone en cola esa solicitud como trabajo con un retraso de 5 minutos en una cola A. Cuando el trabajador comienza a procesar ese trabajo, verifica si ese pago ya se pagó o no. Si aún no se ha pagado, envía un mensaje de recuperación del carrito al usuario.
Estoy usando Node.js, Express.js, Redis y BullMQ para implementar el servidor y el sistema de colas. He intentado pasar por ejemplos básicos de BUllMQ. En la web, no pude encontrar algunos ejemplos avanzados sobre cómo usar esto en el sistema de nivel de producción.
En este momento, estoy atascado con estas siguientes preguntas:
Dado que Redis es una base de datos en memoria, debo guardar todos los trabajos entrantes en mi colección MongoDB, inicialmente con el estado PENDIENTE y escuchar el evento de finalización para cambiar ese estado a COMPLETADO en la base de datos. Cada vez que mi servidor se reinicia, busco todos los trabajos con estado PENDIENTES y los agrego a la cola. De esta manera podemos recuperar nuestros trabajos, incluso si Redis se cae o se reinicia. Mis preguntas son: ¿Tiene sentido hacer tal cosa en la aplicación de nivel de producción? ¿Debería guardar trabajos en MongoDB? & ¿Qué otra precaución debo tomar para implementar este flujo?
En este momento, Bull queue (llamémosle 'A') se está inicializando en el servidor express. Cada vez que se reinicia el servidor, la cola A también se inicializa. Mis preguntas son: ¿la reinicialización de la cola A elimina la cola A antigua en Redis? ¿Qué otras cosas puedo hacer alrededor de este problema?
Estaría muy agradecido por cualquier ayuda en esto.
Déjame darte algunas respuestas a tus preguntas:
Dado que Redis es una base de datos en memoria, debo guardar todos los trabajos entrantes en mi colección MongoDB, inicialmente con el estado PENDIENTE y escuchar el evento de finalización para cambiar ese estado a COMPLETADO en la base de datos. Cada vez que mi servidor se reinicia, busco todos los trabajos con estado PENDIENTES y los agrego a la cola. De esta manera podemos recuperar nuestros trabajos, incluso si Redis se cae o se reinicia. Mis preguntas son: ¿Tiene sentido hacer tal cosa en la aplicación de nivel de producción? ¿Debería guardar trabajos en MongoDB? & ¿Qué otra precaución debo tomar para implementar este flujo?
Aunque Redis es una base de datos en memoria, puede habilitar la persistencia en la mayoría de los proveedores de la nube o agregar la replicación como estándar en AWS Elasticache, lo que proporcionará un sistema muy confiable. Por supuesto, debe programar copias de seguridad para sus datos persistentes de Redis como con cualquier base de datos, lo que hacen todos los proveedores administrados de Redis. Lo importante es mantener alarmas en caso de que tu instancia de Redis se esté quedando sin memoria, ya que eso hará que tu cola deje de funcionar. Puede habilitar "removeOnComplete" para evitar la acumulación de trabajos que ya no le interesan.
En este momento, Bull queue (llamémosle 'A') se está inicializando en el servidor express. Cada vez que se reinicia el servidor, la cola A también se inicializa. Mis preguntas son: ¿la reinicialización de la cola A elimina la cola A antigua en Redis? ¿Qué otras cosas puedo hacer alrededor de este problema?
No, Bull/BullMQ están diseñados para que pueda crear instancias de la misma cola con la frecuencia que desee y no se perderán datos. De hecho, así es como puede escalar a sus trabajadores, instanciando tantos como desee para una cola determinada.