Spark集群如何为Worker节点指定自定义SSH端口

• 全局统一端口临时生效
  若所有Worker节点SSH端口一致，仅单次启动需要自定义端口时，启动集群前指定SPARK_SSH_OPTS环境变量即可：

  SPARK_SSH_OPTS="-p <自定义端口号>" sbin/start-all.sh
  

• 全局统一端口永久生效
  修改Spark配置目录下的spark/conf/spark-env.sh文件（如无该文件可复制同目录下spark-env.sh.template重命名得到），在文件中添加如下配置：

  export SPARK_SSH_OPTS="-p <自定义端口号>"
  

  配置保存后，后续所有启动、停止集群的操作都会默认使用指定端口连接Worker节点。
• 多节点不同端口配置
  若不同Worker节点的SSH端口不一致，直接修改spark/conf/workers文件，在每个Worker节点地址后追加端口参数即可，示例如下：

  worker01 -p 2201
  worker02 -p 2202
  192.168.3.105 -p 2203
  

注意：配置前请确认主节点到所有Worker节点的自定义SSH端口已放通防火墙，且已配置SSH免密登录，避免集群启动脚本执行时报错或卡住。

内容的提问来源于stack exchange，提问作者steven hurwitt