共享VPC下Dataflow作业无明确报错失败问题咨询

核心原因推测 #

• 共享VPC子网缺乏互联网访问能力：默认VPC自带互联网访问路由，而共享VPC子网若未配置云NAT或默认路由，Dataflow Worker无法出站访问Spanner的公网端点（Spanner不属于VPC内资源）。
• 防火墙规则限制出站流量：共享VPC的宿主/服务项目可能设置了严格的出站防火墙规则，阻断了Worker到Spanner端口（TCP 9010、9020、9030）的流量。
• Dataflow网络参数配置错误：作业未正确指定共享VPC子网，或未启用公网访问选项（如--enable_public_ips），导致Worker无法连接外部Spanner服务。
• 服务账号权限不足：Dataflow使用的服务账号未被授予共享VPC的使用权限（如roles/compute.networkUser），无法正常使用子网资源。

排查步骤 #

• 检查子网互联网访问能力：确认共享VPC子网是否关联云NAT，或存在指向互联网的默认路由。可在子网内创建临时VM，执行telnet spanner.googleapis.com 9010测试连通性。
• 核查防火墙规则：查看共享VPC宿主项目的出站防火墙规则，确认是否允许TCP 9010-9030端口的流量，或允许到Spanner公网IP段的出站请求。
• 深挖作业日志：前往Cloud Logging，过滤Dataflow Worker日志，查找连接超时、拒绝类关键词（如connection refused、timeout），定位具体通信故障点。
• 验证服务账号权限：确认Dataflow服务账号拥有roles/spanner.databaseReader（访问Spanner）和roles/compute.networkUser（使用共享VPC）的角色权限。

修复方案 #

• 配置云NAT：为共享VPC子网绑定云NAT网关，确保Worker具备出站公网访问能力。
• 调整防火墙规则：添加出站规则，允许TCP流量到Spanner的9010/9020/9030端口，或直接放行到0.0.0.0/0的该端口范围（临时测试用，后续可缩小IP范围）。
• 修正Dataflow参数：启动作业时明确指定共享VPC子网（格式：projects/宿主项目ID/regions/区域/subnetworks/子网名称），并添加--enable_public_ips参数启用公网访问。
• 补充服务账号权限：为Dataflow服务账号授予roles/compute.networkUser角色，确保其能正常使用共享VPC资源。

内容的提问来源于stack exchange，提问作者sidharth vijayakumar