Kafka Streams能否订阅分区数不同的多个主题开展流处理？

核心结论 #

Kafka Streams 没有要求所有订阅的主题分区数必须统一，共分区校验仅作用于参与同一次join、同组聚合操作的主题集合，你描述的成对主题独立处理的场景是完全被允许的。

报错原因分析 #

你遇到的 org.apache.kafka.streams.errors.TopologyException: Topics not co-partitioned 异常，是因为你通过单个正则表达式一次性订阅全量主题后，Kafka Streams 会默认将所有匹配到的主题归为同一个源流的输入数据，如果你后续直接对这个源流做join/聚合操作，框架会自动校验该源流关联的所有主题的分区数是否一致，自然就触发了报错。

适配场景的改造方案 #

你可以通过两种方式调整拓扑实现需求：

• 按主题对拆分订阅逻辑：不要用一个正则匹配所有主题，改为每个主题对单独用正则匹配订阅，比如用 topic_a(?:1|2) 匹配a1、a2构建独立流，用 topic_b(?:1|2) 匹配b1、b2构建另一个独立流，每个流内部单独执行join、聚合逻辑，框架只会校验单一流内关联主题的分区数，不会跨流校验。
• 统一订阅后拆分分支：如果你必须用一个正则统一订阅全量主题，可以在拓扑最前端新增 branch 分支操作，按消息所属的主题名，将不同主题对的数据拆分到不同的处理分支，每个分支内部单独执行join、聚合逻辑，也可以规避全局分区数校验。

额外注意事项 #

每对主题执行join操作时，除了分区数一致，还需要保证两个主题的消息分区策略对齐：即相同key的消息写入两个主题时，会被路由到编号相同的分区，否则join结果会出现数据缺失的问题。

内容的提问来源于stack exchange，提问作者Eduardo Kasper