Kafka Streams键值状态存储是否支持配置数据保留期？

键值状态存储（KeyValueStore）确实支持设置自动清理的保留期，逻辑和窗口状态存储类似，但配置方式需要注意细节，下面是具体说明：

核心配置方式 #

在创建键值状态存储的StoreBuilder时，通过withRetention()方法指定保留时长即可，底层会基于键的最后更新时间自动清理过期数据。示例代码如下：

// 创建持久化键值存储并设置7天保留期
StoreBuilder<KeyValueStore<String, String>> storeBuilder = 
    Stores.keyValueStoreBuilder(
        Stores.persistentKeyValueStore("user-profile-store"),
        Serdes.String(),
        Serdes.String()
    ).withRetention(Duration.ofDays(7));

// 将存储注册到Kafka Streams拓扑
StreamsBuilder builder = new StreamsBuilder();
builder.addStateStore(storeBuilder);

关键细节说明 #

• 过期判断依据：数据是否过期是基于键的最后修改时间，而非初始创建时间。每次更新键对应的值时，这个时间戳会自动刷新。
• 清理执行频率：后台清理任务的运行间隔由cleanup.interval.ms参数控制（默认10分钟），过期数据不会被立即删除，会在下次清理任务触发时处理。
• 存储介质适配：无论是持久化存储（如RocksDB）还是内存存储，清理逻辑都生效——持久化存储会删除磁盘上的旧数据释放空间，内存存储则直接移除对应条目。
• 版本兼容性：这个特性从Kafka Streams 2.0版本开始正式支持，确保你的依赖版本不低于该版本。

和Kafka主题保留期的区别 #

• 两者是完全独立的配置：Kafka主题的保留期控制的是主题消息的存储时长，而状态存储的保留期控制的是本地/远程状态中键值对的留存时长。
• 变更日志主题的配套设置：键值存储的底层依赖变更日志（changelog）主题，这个主题的保留期必须设置得长于状态存储的保留期，否则当应用需要恢复状态时，可能因变更日志被提前删除而无法恢复完整数据。

内容的提问来源于stack exchange，提问作者Huy Nguyễn