如何通过命名空间实现本地HDFS集群到远程HDFS集群的文件复制？

我来帮你捋清楚这个问题，其实你完全不用纠结全局替换HADOOP_CONF_DIR的困境，有两种灵活的方案能满足你的需求，既可以识别远程命名空间，又不会影响本地集群的正常使用：

方案一：单次命令临时加载远程配置 #

你不需要修改全局的环境变量，只需要在执行复制命令时，通过--config参数临时指定远程集群的配置目录。这样Hadoop会在本次命令中优先使用远程配置，解析RemoteNamespace，而本地集群的配置不受任何影响。

具体命令示例：

hadoop fs --config /path/to/your/remote-hadoop-conf -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file

把/path/to/your/remote-hadoop-conf替换成你实际存放远程集群hadoop_conf文件的目录即可。

方案二：在本地配置中添加远程命名空间 #

如果希望一劳永逸，不用每次命令都加--config参数，可以修改本地Hadoop的core-site.xml配置，把远程集群的命名空间信息加进去：

1. 打开本地集群的core-site.xml（通常路径是$HADOOP_CONF_DIR/core-site.xml）
2. 添加以下配置段（替换成你实际的远程NameNode IP和端口）：

<property>
  <name>dfs.nameservices</name>
  <value>MyNamespace,RemoteNamespace</value> <!-- 同时包含本地和远程命名空间 -->
</property>
<property>
  <name>dfs.ha.namenodes.RemoteNamespace</name>
  <value>nn1</value> <!-- 非HA集群只填一个，HA集群用逗号分隔多个NameNode -->
</property>
<property>
  <name>dfs.namenode.rpc-address.RemoteNamespace.nn1</name>
  <value>192.168.x.x:8020</value> <!-- 远程NameNode的IP和RPC端口 -->
</property>
<property>
  <name>fs.RemoteNamespace.impl</name>
  <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>

3. 保存配置后，直接执行你原本想运行的命令就行：

hadoop fs -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file

这种方式的好处是后续复制不用再额外指定配置，但要注意如果远程集群的配置（比如NameNode地址）有变更，你需要同步更新本地的这个配置。

额外实用提示 #

• 如果远程集群开启了Kerberos认证，执行命令前需要先获取远程集群的Kerberos票据（用kinit命令），或者在命令中通过-D参数指定Kerberos配置，示例：

hadoop fs --config /path/to/remote-hadoop-conf -Djava.security.krb5.conf=/path/to/remote-krb5.conf -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file

• 推荐使用Hadoop专门的跨集群复制工具distcp，它比普通的cp效率更高，支持批量、增量复制，用法和cp类似：

hadoop distcp --config /path/to/remote-hadoop-conf hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file

内容的提问来源于stack exchange，提问作者lucas kim