如何创建可SSH访问Worker节点的Dataproc集群及解决连接失败问题

一、当前问题的排查修复步骤 #

• 核对防火墙规则与Worker节点的标签匹配度：
  进入VM实例页面，查看Worker节点的实际标签（格式通常为dataproc-<集群名>-worker），对比防火墙规则的目标标签，确保完全一致，无拼写错误或空格问题。
• 检查防火墙规则的来源范围：
  若提示要求0.0.0.0/0，确认规则的来源字段是否准确填写；如果是固定IP访问，直接填入你的公网IP（如1xx.xx.xx.xx/32）更安全，同时验证规则是否处于启用状态。
• 确认防火墙规则优先级：
  若存在其他拒绝SSH的规则，需确保允许SSH的规则优先级数值更小（数值越小优先级越高），避免被高优先级的拒绝规则覆盖。
• 检查Worker节点的网络标签状态：
  若之前自动生成的集群标签被误删，手动给Worker节点添加上对应集群的Worker标签，确保防火墙规则能匹配到节点。
• 用gcloud命令测试连通性：
  执行命令 gcloud compute ssh <worker-node-name> --zone <节点所在区域>，通过命令行返回的详细错误信息进一步定位问题。

二、新建集群时的SSH访问配置建议 #

• 使用Dataproc默认网络配置：
  新建集群时选择默认网络，Dataproc会自动创建包含SSH访问权限的防火墙规则，且自动将节点标签与规则关联，无需手动配置。
• 自定义VPC时启用组件网关：
  若使用自定义VPC，创建集群时添加参数 --enable-component-gateway，确保Dataproc能在该VPC下自动生成必要的网络规则。
• 集群创建时指定SSH密钥：
  通过参数 --ssh-key-file <本地公钥路径> 注入你的SSH公钥，确保节点初始化时就配置好可访问的密钥，避免后续密钥不匹配。
• 保留默认节点标签：
  不要手动修改集群自动生成的节点标签，Dataproc依赖这些标签关联防火墙、网络等配套规则。

内容的提问来源于stack exchange，提问作者figs_and_nuts