使用pipeline.pb运行Google Cloud Dataflow自定义模板报错，求排查解决

操作步骤正确性判断 #

你的操作大概率存在参数缺失或路径配置问题——Dataflow经典模板生成时，正常情况下会同时生成pipeline.pb和对应的JSON元数据文件（通常命名为template_metadata.json），未生成JSON说明模板生成命令的参数或执行环境有问题。常见错误点包括：

• 未指定--save_main_session参数，导致自定义代码依赖未正确打包，模板元数据生成不完整
• 模板输出路径使用本地文件系统而非GCS路径，Dataflow Runner对本地路径的模板生成支持有限，无法完整生成所有元数据文件
• 命令中未正确指定--runner DataflowRunner，经典模板必须基于Dataflow Runner生成

解决方法 #

1. 重新生成完整模板（推荐） #

确保使用以下格式的命令生成模板，重点关注标记的关键参数：

python your_pipeline.py \
  --runner DataflowRunner \
  --project [你的项目ID] \
  --region [你的区域，如us-central1] \
  --staging_location gs://[你的GCS桶]/staging \
  --temp_location gs://[你的GCS桶]/temp \
  --template_location gs://[你的GCS桶]/templates/[模板名称] \
  --save_main_session

执行后，GCS的模板路径下会自动生成pipeline.pb和template_metadata.json两个文件。

2. 从已有的pipeline.pb生成JSON元数据 #

如果不想重新生成模板，可以用gcloud命令从已有的二进制pb文件提取JSON元数据：

gcloud dataflow templates describe gs://[你的GCS桶]/templates/[模板路径] > template_metadata.json

该命令会将模板元数据以JSON格式输出并保存到本地文件，之后创建Job时可使用此文件。

3. 正确使用模板创建Job #

不需要手动指定JSON文件，直接使用GCS上的模板路径即可创建Job，避免手动上传pb文件导致的解析错误：

gcloud dataflow jobs run [Job名称] \
  --gcs-location gs://[你的GCS桶]/templates/[模板名称] \
  --region [你的区域] \
  --parameters [参数键值对，如input=gs://input/xxx,output=gs://output/xxx]

报错原因说明 #

pipeline.pb是二进制序列化文件，并非JSON格式文本。直接将其当作JSON文件传入系统时，解析器会因无法识别二进制字符抛出SyntaxError——你需要使用的是模板的JSON元数据文件，而非二进制pb文件。

内容的提问来源于stack exchange，提问作者Tomasz