创建经典Dataflow模板异常：未写入指定路径且Pipeline意外执行

核心问题 #

你当前使用DataflowRunner执行命令时，虽然指定了--template_location，但由于Runner选型错误或代码逻辑问题，导致Dataflow直接启动了作业而非生成模板，最终GCS路径下无模板文件。

修复步骤 #

1. 更换为TemplateRunner（标准做法） #

创建经典Dataflow模板必须使用TemplateRunner，而非DataflowRunner。修改命令如下：

python -m my_first_beam.py \
  --runner TemplateRunner \
  --project my-project \
  --staging_location gs://gk_beam/staging \
  --temp_location gs://gk_beam/temp \
  --template_location gs://gk_beam/templates/my_first_beam \
  --region europe-west3

2. 检查管道代码逻辑 #

确保你的my_first_beam.py代码没有硬触发运行的逻辑：

• 不要直接调用pipeline.run()，需让SDK自动处理模板生成/作业运行的分支
• 避免在顶层代码中执行实际数据读写操作，这类逻辑应封装在ParDo或其他转换算子内

3. 补充依赖打包参数（按需） #

如果代码依赖全局变量、顶层导入的模块，需添加--save_main_session true确保模板打包完整依赖：

python -m my_first_beam.py \
  --runner TemplateRunner \
  --project my-project \
  --staging_location gs://gk_beam/staging \
  --temp_location gs://gk_beam/temp \
  --template_location gs://gk_beam/templates/my_first_beam \
  --region europe-west3 \
  --save_main_session true

4. 验证GCS写入权限 #

确认执行命令的账号拥有目标存储桶的写入权限，可通过简单上传测试：

echo "test" > temp.txt
gsutil cp temp.txt gs://gk_beam/templates/test.txt

若上传失败，需检查账号IAM权限或存储桶ACL设置。

验证结果 #

执行修改后的命令无报错后，通过以下命令检查模板文件：

gsutil ls gs://gk_beam/templates/my_first_beam*

正常会显示带.json后缀的模板文件。

内容的提问来源于stack exchange，提问作者Gopi Kiran