Kafka Streams重分区主题的分区数及消费组消费机制咨询

内部重分区主题的分区数 #

• 默认规则：内部重分区主题的分区数与触发重分区操作的上游主题分区数完全一致。如果流由多个主题合并生成，则取所有上游主题中最大的分区数，确保数据处理的并行度不降低。
• 自定义配置：若需手动指定，可通过StreamsConfig.DEFAULT_NUMBER_OF_PARTITIONS_CONFIG全局设置内部主题的默认分区数，但通常不推荐——保持与上游主题分区数匹配，能避免并行度不匹配导致的性能瓶颈。

扩容后其他实例是否参与内部主题消费 #

• 当内部主题分区数大于1时，消费组内的所有Kafka Streams应用实例都会参与消费这些内部主题。
• 扩容触发再平衡：新增实例后，消费者组会自动执行分区再平衡，将内部主题的分区重新分配给所有实例（包括新增的）。每个实例负责处理部分分区，实例数量增加时，整体处理能力会同步提升（只要实例数不超过分区数，并行度呈线性增长）。
• 线程层面的并行：如果应用配置了多线程（通过num.stream.threads参数），每个线程也会作为独立的消费者参与分区分配，进一步提升并行处理效率。

内容的提问来源于stack exchange，提问作者Konrad