Hadoop distcp使用哪些端口？推数据到云存储的防火墙配置须知

首先直接澄清最常见的误区：DistCp传输既不会默认走SSH，也不是固定使用8020端口，实际用到的端口完全由你对接的云存储类型决定，按照最小权限原则开放对应端口即可，不需要多开无关端口。

核心协议与端口对应关系 #

先明确你问到的SSH、8020端口的适用场景，两者不会同时用到：

• 8020是HDFS默认的NameNode RPC端口，仅当你的DistCp目标是云侧托管的HDFS服务时才会用到，如果目标是对象存储类云服务，完全不涉及这个端口。
• SSH默认22端口，只有在使用非常老旧的DistCp SSH拷贝模式（现在生产环境几乎已经淘汰）时才会用到，当前主流版本Hadoop默认的DistCp实现完全走存储原生协议，和SSH没有关系，不需要开放这个端口。

分场景最小端口开放清单 #

场景1：目标为云厂商托管HDFS服务 #

当你使用的DistCp目标路径格式为hdfs://<云侧HDFS命名服务>/<目标路径>时，仅需要开放源集群所有NodeManager、DataNode节点（注意不是只开NameNode管理节点）到云HDFS侧的以下出站端口即可：

• 云HDFS提供的NameNode RPC端口（默认8020，部分云厂商会做自定义调整，以实际集群配置为准）：用于获取文件元数据、提交拷贝任务
• 云HDFS的DataNode数据传输端口（Hadoop 2.x默认50010，Hadoop 3.x默认9866，云厂商可能自定义）：所有实际数据块的传输都走这个端口，漏开这个端口通常会导致任务卡在进度99%、报块读写超时错误
• 若云HDFS开启了Kerberos认证，额外开放KDC服务默认88端口即可，满足鉴权需求
• 不需要开放SSH相关端口，常规HDFS间DistCp同步走Hadoop自有RPC+数据传输协议，不依赖SSH。

场景2：目标为云对象存储（S3/OSS/COS/OBS等，生产最常用场景） #

当你使用的DistCp目标路径格式为s3a://、oss://、cosn://、obs://这类对象存储协议前缀时，完全不需要开放8020端口，也不需要开放SSH端口，仅需要开放：

• 源集群所有NodeManager节点到对应云对象存储服务的HTTPS端口（默认443）：所有元数据操作、实际数据上传全走这个端口
• 如果你对接的是自建兼容S3协议的存储服务、且未配置HTTPS，才需要开放对应的自定义HTTP端口（默认80），生产环境一律建议走HTTPS链路。
• 如果使用云厂商专线接入、私有端点对接，按照私有端点实际提供的服务端口开放即可，无额外端口需求。

配置避坑提示 #

最常见的配置错误是只开放源集群NameNode节点到目标存储的网络权限：DistCp是分布式执行的任务，实际数据传输是由所有运行拷贝任务Container的NodeManager节点直接连接目标存储完成的，必须保证所有计算节点的出站连通性。
配置完防火墙后，不要只在NameNode上做连通性验证，随机选1-2台NodeManager节点，用nc -zv <目标服务地址> <端口>命令验证端口连通性，确认没问题再提交DistCp任务即可。

内容的提问来源于stack exchange，提问作者007chungking