无法通过SSH连接Spark Worker节点排查EMR集群Executor失败任务日志

首先得明确你碰到的核心问题：EMR Worker节点的ip-123-45-6-78.us-west-2.compute.internal是VPC私有DNS地址，这个地址只能在AWS的VPC内部被解析和访问，而你的本地机器不在这个VPC网络里，所以直接SSH会出现域名解析失败的报错。而Master节点用的是公有DNS（ec2-09-876-543-21.us-west-2.compute.amazonaws.com），所以能正常连接。

下面给你几个实用的解决办法：

方案1：通过Master节点做SSH跳板（最常用、最安全） #

既然你已经能正常连Master，那可以把它当作中间跳板，间接连接Worker节点：

1. 先登录到Master节点：

   ssh master
   

2. 在Master内部，直接用Worker的私有DNS连接即可（SSH默认22端口，不需要加你看到的34265，那是Executor的服务端口，不是SSH端口）：

   ssh hadoop@ip-123-45-6-78.us-west-2.compute.internal
   

嫌分步登录麻烦？也可以直接用一条命令完成跳板：

ssh -J master hadoop@ip-123-45-6-78.us-west-2.compute.internal

这条命令会自动先连Master，再通过它转发连接到Worker节点。

方案2：修改本地.ssh/config配置自动跳板 #

如果你不想每次都敲长命令，可以修改本地的.ssh/config，添加跳板规则：

Host master
HostName ec2-09-876-543-21.us-west-2.compute.amazonaws.com
User hadoop
IdentityFile ~/keypair.pem

Host worker
HostName ip-123-45-6-78.us-west-2.compute.internal
User hadoop
IdentityFile ~/keypair.pem
ProxyJump master

配置完成后，你直接在本地执行：

ssh worker

就能自动通过Master跳转到Worker节点了。

方案3：给Worker分配公有IP（不推荐） #

如果你一定要直接从本地连Worker，可以给Worker节点手动分配弹性公网IP（EIP），但这样会把Worker暴露到公网，安全性很差，绝对不建议在生产环境使用。操作步骤大概是：

• 登录AWS控制台，找到对应的Worker EC2实例
• 进入实例详情页，点击「操作」→「网络设置」→「管理IP地址」
• 分配一个弹性公网IP，之后用这个IP代替私有DNS进行SSH连接

最后再提一句：你之前尝试的ssh ip-xxx:34265是错误用法——SSH端口需要用-p参数指定，格式是ssh -p 端口号 主机名，而且34265是Executor的服务端口，不是SSH的端口，完全不需要指定它。

内容的提问来源于stack exchange，提问作者Alon