Estamos desarrollando un sistema en el que tenemos que recopilar 10 millones de registros todos los días. Necesitamos una solución de base de datos, NoSQL. los datos son registros simples. Estamos usando AWS por ahora. Quiero saber la solución más barata de ambas tecnologías disponibles. AmazonDB o MongoDB.
Tenemos 30 mesas que recopilan estos registros.
Recomendaría usar fluentd o fluentbit para recopilar y transmitir el registro a Kinesis Firehose, y Kinesis Firehose enviará los registros a S3. Luego puede usar Glue para el catálogo de datos y usar Athena para la agregación o consulta de datos.
Si desea realizar transformaciones antes de colocar el registro en S3, puede aprovechar la ventaja de utilizar el procesador Kinesis Firehose para la transformación de datos o la conversación de formato con Lambda.
Aquí hay algunos artículos relevantes https://aws.amazon.com/blogs/compute/building-a-scalable-log-solution-aggregator-with-aws-fargate-fluentd-and-amazon-kinesis-data-firehose/ https ://aws.amazon.com/blogs/opensource/centralized-container-logging-fluent-bit/