Hadoop DistCP无法跳过CRC校验问题求助

核心问题 #

你使用-skipcrccheck参数后仍失败，是因为该参数仅跳过CRC校验，不影响文件长度匹配检查。-update模式下distcp默认会对比源文件与目标文件的大小，当两者长度不一致时直接触发报错，这和CRC校验是独立的检查逻辑。

解决方案 #

针对你的场景（文件解密后长度差异属于预期），在Hadoop 3.3.0及以上版本（你的EMR 6.9.0对应Hadoop 3.3.3符合要求），可以添加-skipSizeCheck参数跳过文件大小校验：

hadoop distcp -skipcrccheck -skipSizeCheck -update -direct sftp://path s3a://path

补充说明 #

1. -skipSizeCheck是Hadoop 3.3.0新增参数，专门用于跳过源与目标文件的长度对比，完美适配你这种因解密导致大小变化的场景。
2. 确认启动日志中除了skipCRC=true，还会出现skipSizeCheck=true，说明参数生效。
3. 若你需要保留-update的增量拷贝逻辑，必须搭配-skipSizeCheck，否则大小差异仍会触发失败。

备选方案（若上述参数不生效） #

如果因特殊环境限制无法使用-skipSizeCheck，可以考虑：

• 放弃-update，改用-overwrite强制覆盖目标文件，但会失去增量拷贝的优势。
• 提前在源端或目标端统一文件长度逻辑（比如解密后再拷贝到sftp源），但这可能不符合你的业务流程。

内容的提问来源于stack exchange，提问作者Nazar Barabash