GCP Dataflow Pub/Sub转BigQuery模板无法从订阅拉取数据排查咨询

1. VPC网络链路验证（优先级最高，你当前场景大概率是该类问题） #

• 确认Dataflow作业指定的子网和作业本身运行在同一区域，跨区域子网调用会被GCP静默阻断，不会抛出明确错误
• 检查对应子网是否开启了Private Google Access（私有谷歌访问），Dataflow访问Pub/Sub、BigQuery这类托管服务必须依赖该能力，未开启时出站请求会无响应
• 验证VPC防火墙出站规则：确认允许子网内IP段向443端口发起TCP请求，没有规则拦截Pub/Sub、BigQuery的服务流量
• 检查Dataflow作业的专用IP配置：如果你启用了「仅使用专用IP地址」选项，必须同时配置Private Service Connect或者确保PGA正常工作，否则会直接阻断和托管服务的通信

2. IAM权限验证 #

• 确认Dataflow运行时使用的服务账号（默认是[项目编号]-compute@developer.gserviceaccount.com，如果用自定义服务账号则替换为对应账号）有至少以下权限：
  • 目标Pub/Sub订阅的roles/pubsub.subscriber权限
  • 目标BigQuery数据集的roles/bigquery.dataEditor权限
  • Dataflow worker运行所需的roles/dataflow.worker权限
• 确认组织层面没有配置策略，禁止该服务账号访问Pub/Sub、BigQuery服务

3. Dataflow作业配置验证 #

• 检查你填写的Pub/Sub订阅/主题资源路径完全正确，标准格式为projects/[项目ID]/subscriptions/[订阅名]，拼写错误可能导致作业找不到资源但不会抛出明显报错
• 调整作业日志级别为DEBUG，查看worker节点的运行日志，确认是否有Pub/Sub连接请求的相关记录
• 检查对应区域的Compute Engine配额，确认CPU、内存、外部IP（如果没开专用IP）配额足够，worker节点没有出现调度失败的情况

4. Pub/Sub侧辅助验证 #

• 查看Pub/Sub订阅的未确认消息数监控指标：如果指标持续上涨，说明没有消费方成功拉取数据，问题出在Dataflow到Pub/Sub的连接链路；如果指标有波动但Dataflow没有写入BigQuery，说明消息已经被拉取但后续处理失败，重点排查BigQuery相关的权限和网络配置
• 临时创建一台同VPC同子网的VM实例，执行gcloud pubsub subscriptions pull [订阅名] --auto-ack命令，验证VPC内网到Pub/Sub的链路是否正常，排除全局网络配置问题

内容的提问来源于stack exchange，提问作者dda2120