关于Kafka Streams全局状态存储分区数及变更日志主题的问询

Great question! Let's break down these two key points clearly:

全局状态存储的分区特性 #

• 没错，Kafka Streams里的全局状态存储始终只会有1个分区。这是它的设计核心决定的：全局状态存储的作用是让应用的所有任务实例都能访问一份完整、一致的全局数据集（比如用于关联的参考字典），单分区的设计能彻底避免多分区带来的数据分片同步问题，保证全局数据的一致性。

全局状态存储的Changelog Topic分区限制 #

• 很遗憾，你不能为全局状态存储的changelog topic设置多个分区。因为Changelog Topic的分区数必须和对应的状态存储分区数严格对齐——既然全局状态存储是单分区，它的changelog也只能是1个分区。如果强行配置多分区，Kafka Streams在启动或者状态恢复阶段会直接抛出异常，因为它无法从多分区的changelog中正确重构出单分区的全局状态。

额外建议 #

如果你的场景需要更大的存储容量或者更高的读写吞吐量，全局状态存储可能不是最适合的方案。你可以考虑将数据按键拆分，使用普通的非全局状态存储，这样就能支持多分区部署，实现水平扩展了。

内容的提问来源于stack exchange，提问作者Ashish Vyas