Tengo un dilema de arquitectura para mi proyecto actual que es para el procesamiento casi en tiempo real de una gran cantidad de datos. Así que aquí hay un diagrama de la arquitectura actual:

Aquí hay una explicación de mi idea que me llevó a esa imagen:

Cuando la puerta de enlace API recibe una solicitud, se incluye en la transmisión (esto se debe a la naturaleza de mi aplicación: "dispara y olvida"). Así es como llegué a esa conclusión . Los datos de entrada se separan en fragmentos en función de una solicitud específica. atributo que me garantiza el orden correcto.

Luego tengo una lambda que se preocupa por validar la entrada y la detección de anomalías. Por lo tanto, es una abstracción que mantiene los datos limpios para la siguiente capa: el enriquecimiento de datos. Entonces, este lambda envía los datos a un kinesis firehose porque puede hacer una copia de seguridad de los datos "en bruto" (algo que definitivamente quiero tener) y también adjuntar un lambda de transformación que hará el enriquecimiento, por lo que no me importará guardar los datos en S3, saldrá de la caja. Así que todo va bien hasta el momento en que necesito un orden conservado de los datos recibidos (el enriquecedor está haciendo sesionización), que se pierde en el firehose, porque no hay separación de datos allí como en los flujos de kinesis.

Entonces, lo único en lo que podría pensar es en mover la sisionización en la primera lambda, lo que romperá mi abstracción, porque comenzará a preocuparse por el enriquecimiento de datos y el mayor inconveniente es que los datos de copia de seguridad tendrán datos enriquecidos, lo que también está rompiendo la arquitectura. Y todo esto sucede porque falta el concepto de fragmentación en la manguera de incendios.

Entonces, ¿alguien puede pensar en una solución a ese problema sin perder las funciones listas para usar que nos proporciona AWS?