Elasticsearch 6.6 trae una nueva tecnología llamada Index Lifecycle Manager Ver aquí . A cada índice se le asigna una política de ciclo de vida, que rige cómo el índice pasa por etapas específicas hasta que se eliminan.

Por ejemplo, si está indexando datos de métricas de una flota de cajeros automáticos en Elasticsearch, puede definir una política que diga:

1. Cuando el índice alcance los 50 GB, cambie a un nuevo índice.
2. Mueva el índice anterior a la etapa tibia, márquelo como de solo lectura y redúzcalo a un solo fragmento.
3. Después de 7 días, mueva el índice a la etapa fría y muévalo a un hardware menos costoso.
4. Elimine el índice una vez que se alcance el período de retención requerido de 30 días.

La tecnología aún se encuentra en etapa beta, sin embargo, probablemente sea el camino a seguir a partir de ahora.

Ejecutar curator es bastante ligero y fácil.

Aquí puede encontrar un Dockerfile, config y action-file.

https://github.com/zakkg3/curator

Además, Curator puede ayudarte si lo necesitas (entre otros):

• Agregue o elimine índices (¡o ambos!) de un alias
• Cambiar la asignación de enrutamiento de fragmentos
• Eliminar instantáneas
• Índices cerrados abiertos
• forzar fusionar índices
• reindexar índices, incluso de clústeres remotos
• Cambiar el número de réplicas por fragmento para índices
• índices de rollover
• Tome una instantánea (copia de seguridad) de los índices
• Restaurar instantáneas

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/index.html

Aquí hay un archivo de acción típico para eliminar índices de más de 15 días:

 actions: 1: action: delete_indices description: >- Delete indices older than 15 days (based on index name), for logstash- prefixed indices. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly. options: ignore_empty_list: True disable_action: True filters: - filtertype: pattern kind: prefix value: logstash- - filtertype: age source: name direction: older timestring: '%Y.%m.%d' unit: days unit_count: 15

Seguí la documentación de elasticsearch-curator para instalar el paquete:

https://www.elastic.co/guide/en/elasticsearch/client/curator/current/pip.html

Luego usé el ejemplo base de AWS de cómo automatizar la limpieza de índices usando la autenticación basada en firma proporcionada por el paquete request_aws4auth:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/curator.html

Funcionó a las mil maravillas.

Puede decidir ejecutar esto dentro de una ventana acoplable lambda o incluirlo en su propia CLI de DevOps.