CDH升级至CDP后Hadoop DistCP -update选项行为变更求助

CDH升级到CDP后，DistCP的-update选项默认逻辑确实变了——现在只要源和目标文件的文件名、大小一致，就会直接跳过，不管内容是否不同。要还原CDH时期的行为（同步文件名大小相同但内容不同的文件），只需给命令加上-checksum参数即可。

修改后的完整命令：

hadoop distcp -pu -update -checksum -delete hdfspath s3bucket

参数说明： #

• -checksum：强制DistCP对比源文件和目标文件的校验和（而非仅看大小），只要内容哈希值不一致，哪怕文件名、大小都相同，也会重新同步目标文件。
• 保留原有的-pu（同步权限、属性）和-delete（清理目标端多余文件）参数，确保原有同步规则不变。

如果担心校验和对比带来的性能开销，也可以评估-sync选项，但它的对齐逻辑更偏向双向同步，不如-update + -checksum精准匹配你之前的需求。

内容的提问来源于stack exchange，提问作者Rajkumar