能否配置MapReduce及distcp在数据传输时使用主机名而非IP？

完全可以配置让MapReduce（DistCP依赖MapReduce执行数据传输）使用主机名而非IP来访问源DataNode，下面是具体的解决方案步骤：

1. 修改源集群HDFS配置，让DataNode上报主机名 #

源集群的DataNode目前向NameNode注册的是内部IP，我们需要调整配置让它注册主机名，这样NameNode返回给DistCP客户端的就是主机名而非内部IP。

修改源集群所有节点的hdfs-site.xml文件，添加/修改以下配置：

<property>
  <name>dfs.datanode.use.datanode.hostname</name>
  <value>true</value>
  <description>让DataNode使用主机名而非IP向NameNode注册</description>
</property>
<property>
  <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
  <value>false</value>
  <description>关闭IP与主机名的一致性校验，避免因内部/外部IP差异导致注册失败</description>
</property>

修改完成后，重启源集群的HDFS服务（先重启NameNode，再重启所有DataNode）。

2. 确保目标集群能解析源DataNode的主机名到外部IP #

DistCP的Map任务运行在目标集群节点上，这些节点需要能将源DataNode的主机名解析到对应的外部IP，你可以通过两种方式实现：

• 本地hosts文件配置：在目标集群所有节点的/etc/hosts文件中添加源DataNode的主机名与外部IP的映射，格式如下：

  1.2.3.4  source-datanode-1
  5.6.7.8  source-datanode-2
  

• DNS服务配置：如果有内部DNS服务器，将源DataNode的主机名和外部IP的映射添加到DNS记录中，让目标集群节点自动解析。

3. 调整DistCP命令的源路径 #

执行DistCP时，确保源路径使用的是源NameNode的外部主机名（或外部IP），而非内部IP。示例命令如下：

hadoop distcp hdfs://source-nn-external-hostname:8020/source/path hdfs://target-nn:8020/target/path

可选替代方案：使用WebHDFS协议（无需修改源集群配置） #

如果源集群无法修改配置，你可以尝试用WebHDFS协议执行DistCP——这种方式下，数据请求会先经过源NameNode的外部端口转发，不需要Map任务直接连接源DataNode的内部IP。命令格式如下：

hadoop distcp webhdfs://source-nn-external-hostname:50070/source/path hdfs://target-nn:8020/target/path

注意：WebHDFS默认端口是50070，需要确保源NameNode的该外部端口已开放，且目标集群能正常访问。

验证步骤 #

在执行DistCP前，先在目标集群节点上测试能否通过主机名访问源HDFS：

hdfs dfs -ls hdfs://source-nn-external-hostname:8020/source/path

如果能正常列出文件，说明配置生效，再执行DistCP即可。

内容的提问来源于stack exchange，提问作者Michael