使用Java写入Google Cloud Storage后临时文件未删除如何解决

问题原因分析 #

1. 配置逻辑问题 #

_GCS_SYNCABLE_TEMPFILE 是 Hadoop GCS Connector 为了模拟 HDFS 的 append 能力生成的中间临时文件：

GCS 本身不支持原生追加写入，你在初始化 Configuration 时显式开启了 dfs.support.append=true，Connector 就会用临时分片文件的方式实现 append 语义。正常情况下流正常关闭后，临时文件会被自动合并清理，残留的核心原因是清理逻辑未被触发：

• 你同时使用 Hadoop FileSystem 接口和原生 GCS SDK 操作同一路径的文件，两套实现的逻辑互相独立，SDK 写入的文件不会触发 Connector 的临时文件清理逻辑
• 若不需要 append 能力却开启了相关配置，凭空增加了临时文件逻辑，也更容易出现残留
• 若显式配置了 fs.gs.temp.file.cleanup.enabled=false 会关闭自动清理，默认该配置为 true

2. 依赖版本冲突 #

你当前的依赖存在版本不兼容问题：
GCS Connector hadoop3-2.2.2 内置适配的 google-cloud-storage 版本为 1.113.x 系列，你手动指定了 1.106.0 版本的 SDK，版本不匹配会导致临时文件合并、清理的底层逻辑执行失败，最终残留临时文件。

解决方案 #

• 统一写入实现：不要混用 Hadoop GCS Connector 和原生 GCS SDK 操作同一个 Bucket 下的文件，只保留其中一套实现即可，避免逻辑冲突。
• 调整不必要的配置：如果你的业务场景不需要追加写入，直接移除 conf.setBoolean("dfs.support.append", true) 配置，Connector 就不会生成这类临时文件，从根源上避免残留问题。
• 修复依赖冲突：移除你手动声明的 google-cloud-storage、google-http-client、google-api-client 等 Google 云服务相关依赖的版本号，让 GCS Connector 自动拉取适配的版本，避免版本不兼容引发的逻辑异常。
• 确认流关闭逻辑正确性：你当前使用的 try-with-resources 语法可以保证流正常关闭，若有自定义的缓冲逻辑，确认缓冲流关闭时会正确 flush 所有数据到底层 GCS 流，触发清理逻辑。

内容的提问来源于stack exchange，提问作者Selim Alawwa