运行同一Flink应用两次：同Kafka消费组下消息重复消费疑问

这不是你预期的Kafka消费组行为，但属于Flink KafkaSource的设计特性导致的结果。

核心原因 #

Kafka原生消费组的逻辑是组内消费者分摊分区，每个分区仅被组内一个消费者消费，但Flink的KafkaSource并不遵循这个逻辑：

• 每个Flink应用是独立的运行集群，各自维护自己的消费状态，默认将偏移量存储在Flink自身的状态后端（如RocksDB），而非依赖Kafka的__consumer_offsets主题。
• 相同消费组名称的多个Flink应用，彼此不会感知对方的存在，也不会参与同一轮Kafka分区分配。每个应用都会从自身记录的偏移量位置开始消费，因此会接收到完全相同的消息。

实现预期行为的方案 #

如果要实现“同一消费组下仅一个应用处理消息”的效果，不能靠设置相同Kafka消费组名称，而是要通过以下方式：

• 将同一个Flink应用以高可用（HA）模式部署，此时只有主实例会运行消费逻辑，备用实例仅在主实例故障时接管，确保只有一个实例处理消息。
• 若要实现多节点分摊消费，应将消费逻辑作为单个Flink作业提交，由Flink集群自动分配任务槽，让作业内的并行子任务分摊Kafka分区的消费工作。

内容的提问来源于stack exchange，提问作者Chuni Lal Kukreja