物化状态存储目录缺失数据：PersistentKeyValueStore数据去向咨询

1. 检查RocksDB刷盘配置 #

PersistentKeyValueStore底层依赖RocksDB，若部署环境未触发刷盘条件，数据会暂存内存memtable，不会生成.sst文件：

• 调整rocksdb.flush.checkpoint.interval.ms：默认60000ms（1分钟），临时调小至10000ms，测试是否触发刷盘
• 调整rocksdb.write.buffer.size：默认64MB，若写入数据量未达阈值，数据不会落地，可临时设为16MB验证

添加配置示例：

val streamsConfig = new StreamsConfig(Map(
  StreamsConfig.STATE_DIR_CONFIG -> "/your/permanent/path",
  "rocksdb.flush.checkpoint.interval.ms" -> "10000",
  "rocksdb.write.buffer.size" -> "16777216"
))

2. 确认状态存储实际路径 #

Kafka Streams会在配置的state.dir下生成多层子目录，格式为：
state.dir/<application-id>/<task-id>/<store-name>/

• 核对应用application.id配置，确认对应任务ID的子目录
• 从应用日志中搜索状态存储路径日志，比如State store <store-name> located at <full-path>，定位实际存储目录

3. 验证任务运行状态 #

若部署环境发生任务重平衡或迁移，当前实例可能仅从变更日志恢复内存状态，未触发刷盘：

• 持续运行应用一段时间，等待数据积累或刷盘周期触发
• 发送批量测试数据，主动触发RocksDB刷盘条件

4. 确认物化配置未被覆盖 #

确保聚合操作正确使用了指定的PersistentKeyValueStore：

• 检查aggregate/reduce方法是否确实传入了自定义的Materialized实例，未被默认配置覆盖
• 确认name变量唯一，无状态存储重名导致的路径混淆

5. 排查文件系统权限 #

即使能看到元数据，RocksDB可能因权限问题无法创建.sst文件：

• 检查state.dir及其子目录的读写权限，确保运行应用的用户拥有完整权限
• 查看应用日志，排查是否存在Permission denied类的RocksDB报错

内容的提问来源于stack exchange，提问作者Ayoub Omari