HDFS中__distcpSplit__文件是什么？Distcp跨集群拷贝生成原因

是什么 #

__distcpSplit__后缀文件是Distcp并行拷贝逻辑的临时分片中间文件，仅存在于目标集群的写入路径，不会出现在源集群。

正常的Distcp大文件拷贝流程为：

1. 任务启动阶段，Distcp会按照配置的分片大小（默认等于HDFS块大小dfs.blocksize），将超过分片阈值的源文件拆分为多个连续分片
2. 每个分片分配给独立的Map任务并行写入目标集群，写入过程中的分片都会加上__distcpSplit__+分片序号的临时后缀
3. 所有分片全部拷贝完成且校验通过后，Distcp会自动在目标端拼接所有分片为完整文件，同时删除所有临时分片

残留原因 #

你观察到的源文件被其他进程占用的场景，是导致临时分片残留的核心触发条件，常见的具体原因如下：

• 源文件处于持续追加写入状态，Distcp分片阶段统计的源文件长度，和实际读取分片时的文件长度不一致，导致分片校验失败，最终的合并流程被中断，已写入完成的分片不会被自动清理
• 源文件被其他进程加了独占读锁、或者中途被修改/删除，导致部分分片的读取任务失败，整体拷贝任务提前终止，已生成的临时分片会直接残留在目标路径
• 若执行Distcp时添加了-append增量拷贝参数，动态变化的源文件会导致Distcp无法校验分片的连续性，合并流程无法触发，也会残留__distcpSplit__文件

注意事项 #

残留的__distcpSplit__文件属于不完整的分片数据，无法直接作为源文件的有效拷贝结果使用。你可以在确认源文件无写入、无占用后重新执行Distcp任务，任务会自动清理历史残留的临时分片，重新完成完整的文件拷贝。

内容的提问来源于stack exchange，提问作者Shellong