En uno de mis casos de uso consiste en consumir los datos, hacer algunas operaciones y producirlos en un nuevo tema.

Estoy usando la biblioteca https://www.npmjs.com/package/kafkajs npm.

Me gustaría confirmar la compensación manualmente después de operaciones exitosas para evitar la pérdida de datos. Estoy usando autoCommit: false para evitar la confirmación automática de datos después de consumir.

Este es el código para cometer el desplazamiento manualmente

 consumer.commitOffsets([ { topic: 'topic-A', partition: 0, offset: '1' } ])

Como leí en alguna parte, si cometemos cada compensación intencionalmente (comprometemos la compensación inmediatamente después de la consumación), creará una carga en los corredores y no es bueno hacerlo.

¿Necesito el asesoramiento de un experto en kafka para sugerir el mejor enfoque en mi caso de uso anterior para evitar la pérdida de datos? por favor avise