Hadoop如何仅在目标目录已存在时执行文件移动操作？

我来帮你解决这个Hadoop文件迁移的问题——你需要的是仅当目标对应文件夹存在时才执行移动的逻辑对吧？这可以通过HDFS命令结合Shell条件判断轻松实现，下面是具体的方案：

核心思路 #

先检查目标目录是否存在，只有确认存在后，再执行HDFS的移动命令。Hadoop本身提供了目录存在性检查的命令，结合Shell的条件判断就能精准实现你的需求。

单个文件的迁移脚本 #

针对你给出的示例场景（移动/dir1/same_folder/path1file.txt到已存在的/dir2/same_folder），可以使用以下Shell脚本：

# 检查目标目录是否存在
if hdfs dfs -test -d /dir2/same_folder; then
    # 目录存在，执行移动操作
    hdfs dfs -mv /dir1/same_folder/path1file.txt /dir2/same_folder/
fi

代码解释 #

• hdfs dfs -test -d <目录路径>：HDFS内置的检查命令，若目标目录存在则返回0（Shell中的“真”），不存在则返回非0（“假”）。
• 外层的if语句会根据上述命令的返回值判断是否执行移动：只有目标目录存在时，才会执行hdfs dfs -mv命令，将源文件移动到目标目录下。

批量文件的迁移脚本 #

如果需要迁移源目录下的所有文件（仅当目标目录存在时），可以修改为：

if hdfs dfs -test -d /dir2/same_folder; then
    hdfs dfs -mv /dir1/same_folder/* /dir2/same_folder/
fi

这样就能把/dir1/same_folder下的所有文件一次性移动到已存在的/dir2/same_folder中，和该目录下原有的path2file.txt共存。

效果验证 #

按照你的示例执行脚本后：

• 源目录/dir1/same_folder会移除path1file.txt
• 目标目录/dir2/same_folder会同时存在path1file.txt和path2file.txt
  完全符合你期望的结果。

内容的提问来源于stack exchange，提问作者sande