Kafka Streams应用闲置副本问题咨询：14个副本仅10个工作

核心原因：输出主题分区数限制了任务数量 #

你的问题本质是Kafka Streams的任务分配逻辑被输出主题的分区数限制，哪怕是无状态应用也会受此约束，具体拆解如下：

• Kafka Streams会将输入分区按「相同分区号」分组，形成StreamTask：你的12个输入主题各有10个分区，因此会生成10个StreamTask（每个任务对应12个输入主题的第N号分区，共12个输入分区）。
• 每个StreamTask需要负责向输出主题的一个分区写入数据（默认使用输入分区号映射输出分区号的分区策略）。由于你的输出主题只有10个分区，系统最多只能创建10个StreamTask——而每个StreamTask只能被一个应用实例执行，因此最多10个实例能分配到任务，剩余4个实例自然处于闲置状态。
• acceptable.recovery.lag参数仅针对有状态任务的恢复延迟控制，无状态场景下该参数完全无效，所以调整它不会改变任务分配结果。

解决方案 #

1. 扩容输出主题分区数：将输出主题的分区数增加到至少14个（与你期望的实例数匹配），之后重启应用触发重平衡。注意：Kafka主题分区数仅支持扩容，无法缩减。
2. 调整实例数量：如果无法修改输出主题，那么最多只能有效利用10个应用实例，多余的4个实例不会贡献处理能力，建议缩容回10个。
3. 检查自定义分区策略：如果你的应用使用了自定义分区器，确认是否存在特殊的分区映射逻辑导致任务数量被限制，但默认场景下核心约束仍是输出主题的分区数。

内容的提问来源于stack exchange，提问作者Oleksii