使用distcp -update时，如何排除dt=20230621分区的HDFS文件？

问题根源 #

你当前使用的-filters ".*dt=20230621.*"逻辑完全搞反了：DistCP的-filters参数是只复制匹配正则表达式的路径，而不是排除。所以这条命令实际是强制备份所有包含dt=20230621的文件，导致目标分区被复制。

解决方案 #

方案1：用反向正则实现排除

利用Java正则的负向预查语法，匹配所有不包含dt=20230621的路径，命令修改为：

hadoop distcp -update -append -filters "^((?!dt=20230621).)*$" /tmp/source /tmp/target

• 正则说明：^((?!xxx).)*$表示整个字符串中不存在xxx子串，完美实现排除逻辑。
• 测试建议：先加-dryrun参数模拟执行，验证过滤效果：

  hadoop distcp -update -append -dryrun -filters "^((?!dt=20230621).)*$" /tmp/source /tmp/target
  

方案2：生成文件列表后复制

如果对正则不熟悉，可先手动生成排除目标分区的文件列表，再基于列表执行DistCP：

1. 生成待复制文件列表（排除dt=20230621）：

hdfs dfs -ls -R /tmp/source | grep -v dt=20230621 | awk '{print $8}' > /tmp/distcp_file_list.txt

2. 基于列表执行复制：

hadoop distcp -update -append -f /tmp/distcp_file_list.txt /tmp/target

• 注意：如果源目录有新增文件，需要重新生成列表；列表需确保路径格式正确（绝对路径）。

额外注意 #

• 确保你的Hadoop版本支持Java正则的负向预查（Hadoop 2.x及以上版本均支持）。
• 如果dt=20230621是独立的子目录，也可以直接在源路径中显式指定其他分区，但这种方式灵活性较低，适合分区数量少的场景。

内容的提问来源于stack exchange，提问作者Hang Mao