En uno de mis casos de uso consiste en consumir los datos, hacer algunas operaciones y producirlos en un nuevo tema.
Estoy usando la biblioteca https://www.npmjs.com/package/kafkajs npm.
Me gustaría confirmar la compensación manualmente después de operaciones exitosas para evitar la pérdida de datos. Estoy usando autoCommit: false
para evitar la confirmación automática de datos después de consumir.
Este es el código para cometer el desplazamiento manualmente
consumer.commitOffsets([ { topic: 'topic-A', partition: 0, offset: '1' } ])
Como leí en alguna parte, si cometemos cada compensación intencionalmente (comprometemos la compensación inmediatamente después de la consumación), creará una carga en los corredores y no es bueno hacerlo.
¿Necesito el asesoramiento de un experto en kafka para sugerir el mejor enfoque en mi caso de uso anterior para evitar la pérdida de datos? por favor avise