Kafka Streams全局K表的记录留存期是否仅遵循输入主题配置？

核心结论 #

采用全局K表的Kafka Streams应用不会仅依赖输入主题的留存期，但它也不会像普通K表那样创建无限留存的变更日志主题。

全局K表的运行机制 #

• 全局K表是从输入主题全量数据构建的本地只读副本，每个Streams实例都会完整复制输入主题的所有分区数据到本地状态存储。
• 全局K表不会生成专属的变更日志主题，它的状态完全依赖输入主题的内容：
  • 当输入主题的记录因留存期到期被删除时，如果本地状态里对应的记录没被新更新覆盖，Streams实例重启后这部分过期记录会丢失——因为它只能重新消费输入主题中剩余的可用数据。
  • 全局K表的本地状态存储（比如RocksDB）数据默认会持久化到磁盘，但如果输入主题的原记录已被清理，重启后无法恢复这部分数据。
• 和普通K表的区别：普通K表会生成变更日志主题（默认留存期无限），用于实例重启或扩容时恢复状态；而全局K表完全依赖输入主题的可消费数据，没有自己的变更日志，也就不存在无限留存的额外主题。

补充说明 #

如果要保证全局K表的状态完整性，需确保输入主题的留存期足够长，或者配置输入主题为永久留存（不设置retention.ms或设为-1），避免关键数据在实例重启前被清理。

内容的提问来源于stack exchange，提问作者Utkarsh Sharma