Kafka Streams应用多次运行报错：无法删除状态目录

我之前在Windows环境下用旧版Kafka Streams开发时也碰到过一模一样的问题，简直头疼！结合你的描述，这个java.nio.file.DirectoryNotEmptyException基本是Windows文件系统锁和旧版Kafka的bug共同导致的，给你几个针对性的解决办法：

问题根源拆解 #

首先明确为什么会出现这个情况：

• Windows的文件系统对文件句柄的释放逻辑和Linux不一样，哪怕你加了shutdownHook调用streams.close()，有时候Java进程退出不彻底，状态目录里的文件还是被占用着，下次启动时Kafka Streams尝试清理就会报错。
• 你用的Kafka 1.1.0是2018年的老版本了，这个版本在Windows下处理状态目录清理的逻辑有已知缺陷，尤其是跨机器连接Broker时，元数据同步的小问题可能导致状态文件没被正确标记为可清理。

具体解决步骤 #

1. 杀干净残留的Java进程 #

有时候IDE显示应用已经停止，但后台还藏着java.exe/javaw.exe进程占用着状态目录的文件句柄：

• 打开任务管理器，切换到「详细信息」标签，搜索所有Java相关进程，把和你的Kafka Streams应用有关的都杀掉（可以通过进程的启动路径或内存占用判断），再重新启动应用。
• 顺便在IDE的「Run/Debug Configurations」里，取消勾选「Allow parallel run」，确保每次启动前自动终止之前的进程。

2. 优化Shutdown Hook的关闭逻辑 #

你已经加了Shutdown Hook，但默认的streams.close()可能没等完全清理就结束了，改成带超时等待的版本：

Runtime.getRuntime().addShutdownHook(new Thread(() -> {
    try {
        // 给30秒时间让Streams完成所有清理和资源释放
        streams.close(Duration.ofSeconds(30));
    } catch (Exception e) {
        e.printStackTrace();
    }
}));

这样能最大程度保证Kafka Streams在退出时释放所有文件句柄。

3. 升级Kafka版本（最推荐的根治办法） #

Kafka 1.1.0真的太老了，后续的2.0+版本修复了大量Windows平台下的状态目录处理问题，包括文件锁释放、目录清理的逻辑优化。建议升级到2.8.x或者3.x的稳定版本（注意和你的Schema Registry版本兼容，比如Schema Registry也升到对应的版本），升级后这个问题基本会消失。

4. 自定义状态目录（临时应急） #

如果暂时没法升级，可以把状态目录配置到一个更易操作的路径，方便快速清理：

props.put(StreamsConfig.STATE_DIR_CONFIG, "C:/temp/kafka-streams/my-app-state");

每次报错时，直接删掉这个目录下的所有内容再启动，虽然麻烦但能应急。

5. 禁用自动清理（仅临时测试用） #

实在没办法的话，可以临时禁用自动清理，手动管理状态：

props.put(StreamsConfig.CLEANUP_ON_SHUTDOWN_CONFIG, false);

但要注意，每次重置偏移量或者修改拓扑后，必须手动删除状态目录，否则会出现状态不一致的问题，所以这个只适合临时测试。

额外提醒 #

跨机器连接时，确保Broker和Schema Registry的端口（9092、8081）没有被防火墙挡住，虽然你首次运行正常，但偶尔的网络波动可能导致状态目录的元数据写入不完整，也会引发后续的清理问题。另外，试试不要用管理员身份运行IDE，有时候管理员权限下的文件锁反而更难释放。

内容的提问来源于stack exchange，提问作者Benny Chan