4.5. 在提交偏移时避免数据丢失或重复

Kafka auto-commit 机制 允许使用者自动提交消息的偏移。如果启用，使用者将以 5000ms 间隔提交从轮询代理接收的偏移量。

auto-commit 机制非常方便，但它引入了数据丢失和重复的风险。如果消费者获取并转换了多个信息，但系统会在执行自动提交时，在消费者缓冲区中处理消息崩溃，则该数据将会丢失。如果系统在处理消息后崩溃，但在执行自动提交前，数据会在重新平衡后在另一个消费者实例上重复。

只有在下次轮询代理或消费者关闭前处理所有消息时，才会避免数据丢失。

要最小化数据丢失或重复的可能性，您可以将 enable.auto.commit 设置为 false，并开发客户端应用程序以更好地控制提交偏移。或者，您可以使用 auto.commit.interval.ms 减少提交之间的间隔。

...
...

# ...
enable.auto.commit=false 

# ...

通过将 enable.auto.commit 设置为 false，您可以在 执行所有 处理并消耗消息后提交偏移。例如，您可以设置应用程序来调用 Kafka commitSync 和 commitAsync 提交 API。

commitSync API 在从轮询返回的消息批处理中提交偏移量。在处理批处理中的所有消息时，您将调用 API。如果使用 commitSync API，则应用程序不会轮询新消息，直到批处理中的最后一个偏移提交为止。如果这种负面影响吞吐量，您可以更频繁地提交，或者您可以使用 commitAsync API。commitAsync API 不会等待代理响应提交请求，而是在重新平衡时造成更多重复的风险。一个常见的方法是，将应用程序中的两个提交 API 与在关闭消费者或重新平衡之前所使用的 commitSync API 相结合，以确保最终提交成功。

...
...

# ...
enable.auto.commit=false
isolation.level=read_committed 

# ...