Quiero asegurarme de que no se pierda RabbitMQ en caso de que falle. ¿Es posible de alguna manera hacer que RabbitMQ descargue o haga una copia de seguridad de todas las colas que tiene en el disco?
También escuché que una vez que recibe un mensaje e incluso si falla, cuando esté activo, el mensaje estará disponible.
Entonces, ¿qué recomienda para que el proceso sea más confiable?
En RabbitMQ, esto se puede lograr utilizando la durabilidad de las colas y los mensajes. La durabilidad de la cola significa que su configuración se almacenará en el disco. Y cuando RabbitMQ se recupere después de un bloqueo, la cola se restaurará. Se puede hacer así:
channel.queue_declare(queue='myQueue', durable=True)Lo que busca está más estrechamente relacionado con la durabilidad del mensaje. Publique todos sus mensajes con el indicador delivery_mode establecido en 2. El valor predeterminado es 1, lo que hace que los mensajes residan solo en la RAM. Vea esto para ejemplos de código en Python. Extracto a continuación.
channel.basic_publish(exchange='', routing_key='task_queue', body=message, properties=pika.BasicProperties( delivery_mode = 2, # make message persistent ))Tenga en cuenta que habilitar la durabilidad del mensaje tiene sus efectos en el rendimiento. Cuando se establece en 2, el agente RabbitMQ tiene que hacer el trabajo adicional de escribir mensajes y leerlos desde el disco.
La mejor manera es crear un clúster RabbitMQ y luego configurar las políticas de alta disponibilidad.
Cuando configura el HA, los mensajes se replican a los otros nodos. Si un nodo falla, puede acceder a los otros nodos.
También puede hacer una copia de seguridad del directorio de Mnesia que generalmente contiene la configuración y los mensajes, pero algunos mensajes pueden permanecer en el caché. Para estar seguro, debe detener la aplicación rabbitmq.
Intentaría usar el HA.
Otra forma de hacer una copia de seguridad continua de los mensajes es usar el complemento Shovel.
Como mencionó @Milind, usar un mensaje persistente es una buena práctica.
editar
Si utiliza la Tx Transaction en la nube, lea aquí: https://www.rabbitmq.com/blog/2011/02/10/introducing-publisher-confirms/
Tx puede resolver su problema, pero puede tener un gran impacto en el rendimiento.