GCP运行Word Count模板Dataflow worker无活动任务卡住如何解决？

Dataflow任务卡Running无日志问题排查方案 #

1. IAM权限校验 #

核查异常项目中对应服务账号的权限配置：

• Dataflow官方服务账号（格式为service-<你的项目ID>@dataflow-service-producer-prod.iam.gserviceaccount.com）需授予roles/dataflow.serviceAgent权限
• 任务运行使用的Worker服务账号需授予以下最小权限：
  • roles/dataflow.worker
  • roles/logging.logWriter（无该权限会导致Worker日志无法上报到Cloud Logging，符合你无日志产出的现象）
  • roles/storage.objectAdmin（用于读写任务指定的GCS临时存储桶）

2. 网络连通性校验 #

你已确认GCE实例成功启动，大概率是Worker节点无法连通Dataflow控制面或依赖服务导致启动失败：

• 核查任务所用VPC子网的防火墙规则，是否允许Worker节点的443端口出站访问Google云服务地址
• 若任务配置Worker不分配公网IP，需确认对应子网已开启Google Private Access，确保Worker可通过内网访问Dataflow控制面、Cloud Logging、Artifact Registry等依赖服务
• 确认无VPC路由规则拦截Worker节点的出站流量

3. 存储配置校验 #

• 确认任务指定的tempLocation参数对应的GCS存储桶归属异常项目，若使用跨项目存储桶，需确认Worker服务账号已被授予跨项目桶的读写权限
• 确认存储桶未开启禁止外部访问的组织策略限制

4. 串行日志排查 #

若上述配置核查无问题，可直接查看卡住任务对应的GCE实例的串行端口日志，该日志无需Worker节点拥有Cloud Logging写入权限即可查看，可直接定位到Worker启动阶段的具体报错（如镜像拉取失败、控制面连接超时、权限报错等）

内容的提问来源于stack exchange，提问作者kayteepee