无法使用默认模板启动GCP Dataflow（Spanner转GCS）管道

我尝试运行默认的GCP Dataflow管道模板（Cloud Spanner至GCS），但所有启动管道/作业的尝试均失败，提示缺少结果文件，且未修改模板的任何默认选项。错误信息如下：

Failed to read the result file : 
gs://dataflow-staging-us-central1-11111111111/staging/template_launches/2023-06-19_10_55_21-884192550311219509/operation_result with error message: 
(8bac83beae18b544): Unable to open template file: gs://dataflow-staging-us-central1-11111111111/staging/template_launches/2023-06-19_10_55_21-884192550311219509/operation_result..

几天前曾成功运行该管道，停止后如今所有尝试均失败。已执行以下排查操作：

• 重建Spanner实例、数据库及Spanner流
• 重建GCS存储桶
• 使用Web界面与gcloud工具操作
• 在不同区域尝试上述操作

可能的原因及解决方法 #

1. Dataflow服务账号权限不足 #

Dataflow默认服务账号（[PROJECT_NUMBER]-compute@developer.gserviceaccount.com）需要同时具备：

• 对staging存储桶的读写权限：至少分配roles/storage.objectCreator和roles/storage.objectViewer，或直接赋予roles/storage.admin
• 目标Spanner数据库的读取权限：分配roles/spanner.databaseReader角色

2. 存储桶配置干扰临时文件生成 #

模板启动过程中会在staging桶的template_launches目录生成临时操作结果文件，以下配置可能导致文件丢失或无法访问：

• 检查存储桶生命周期规则，是否设置了短时间内删除临时对象的规则，若有则暂时禁用
• 关闭存储桶的版本控制功能，避免文件状态冲突导致读取失败

3. 模板版本或区域服务异常 #

• 通过gcloud命令启动时显式指定最新模板版本：--template-version=latest，避免使用存在故障的旧版本模板
• 查看GCP状态仪表板，确认目标区域的Dataflow服务是否处于正常运行状态

4. 网络配置限制 #

VPC网络的防火墙规则或私有访问设置可能阻止Dataflow服务访问GCS或Spanner：

• 检查防火墙规则，允许Dataflow worker访问storage.googleapis.com和spanner.googleapis.com
• 若使用私有网络，确保已配置Cloud NAT，允许Dataflow组件访问外部服务

5. 显式指定模板参数 #

即使未修改默认选项，隐含的参数冲突也可能导致失败，尝试通过gcloud命令显式指定所有必要参数：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-us-central1/latest/Cloud_Spanner_to_GCS \
    --region us-central1 \
    --parameters \
        spannerInstanceId=SPANNER_INSTANCE_ID,\
        spannerDatabaseId=SPANNER_DB_ID,\
        spannerTable=SPANNER_TABLE,\
        outputDirectory=gs://YOUR_OUTPUT_BUCKET/output,\
        stagingLocation=gs://YOUR_STAGING_BUCKET/staging

内容的提问来源于stack exchange，提问作者Michael Brenndoerfer