已禁用EnableAutoCommit的Kafka客户端为何仍提交偏移量？

问题场景 #

以下是一段Kafka .NET消费者代码：

class Program
{
    static void Main(string[] args)
    {
        var config = new ConsumerConfig
        {
            BootstrapServers = "localhost:9092",
            GroupId = "test-consumer-group",
            AutoOffsetReset = AutoOffsetReset.Earliest,
            EnableAutoCommit = false   // 期望关闭自动提交
        };

        var consumer = new ConsumerBuilder<string, byte[]>(config).Build();
        
        consumer.Subscribe("test-topic");

        try
        {
            while (true)
            {
                var consumeResult = consumer.Consume();
                Console.WriteLine($"Received message: {consumeResult.Message.Value}");
            }
        }
        catch (OperationCanceledException)
        {
            // ...
        }
    }
}

期望多次启停应用且不修改消费者组名，就能重复消费已发送的消息，因此设置EnableAutoCommit = false，结合AutoOffsetReset.Earliest让后续运行重新读取所有消息。但第二次运行应用时，consumeResult无新消息返回（看似为null），说明上一次运行已提交了偏移量，明明设置了EnableAutoCommit = false，为何仍会提交？

原因分析 #

1. 默认的偏移量存储行为：即使设置EnableAutoCommit=false，Confluent.Kafka客户端默认会开启EnableAutoOffsetStore=true——消费者在成功消费消息后，会自动把偏移量存储到本地内存，当消费者实例被销毁（应用启停时），客户端会自动将本地存储的偏移量提交到Broker。这是框架默认的容错机制，避免意外退出时丢失消费进度。
2. AutoOffsetReset的生效条件：AutoOffsetReset.Earliest仅在消费者组没有任何已提交的偏移量时才会生效。如果Broker中已经存在该消费者组的偏移量记录，消费者启动时会直接从该偏移量的下一条消息开始消费，而非从头读取。

解决方法 #

1. 完全禁用自动偏移量存储与提交：同时设置EnableAutoCommit=false和EnableAutoOffsetStore=false，这样消费者既不会自动提交偏移量，也不会自动存储偏移量到本地，彻底避免Broker记录消费进度：

var config = new ConsumerConfig
{
    BootstrapServers = "localhost:9092",
    GroupId = "test-consumer-group",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = false,
    EnableAutoOffsetStore = false // 禁用自动偏移量存储
};

2. 清除已存在的消费者组偏移量：如果Broker中已经存在该消费者组的旧偏移量记录，需要先删除它，才能让AutoOffsetReset.Earliest生效。可以使用Kafka命令行工具执行：

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group test-consumer-group

3. 避免手动提交操作：确保代码中没有调用consumer.Commit()或consumer.StoreOffset()方法，否则仍会向Broker提交偏移量。

内容的提问来源于stack exchange，提问作者user25521292