在GCP创建Dataflow作业时遭遇模板解析错误求助

核心问题 #

你直接指定Python脚本文件作为Dataflow模板，但经典模板要求使用代码编译后生成的JSON元数据文件，而非原始.py文件。系统尝试将.py文件当作JSON解析，自然触发了"预期'{'但流结束"的解析错误。

正确操作步骤 #

• 先编译Python脚本生成Dataflow经典模板：
  使用gcloud dataflow templates build命令完成编译，示例命令如下：

  gcloud dataflow templates build gs://ai-datascience/templates/gcs_orc_snowflake_template \
    --python-module=gcs_orc_snowflake \
    --staging-location=gs://ai-datascience/staging \
    --region=你的GCP区域
  

  说明：--python-module对应你的脚本主模块名，--staging-location用于存储编译过程的临时文件，编译完成后会在指定的模板路径生成JSON元数据文件。

• 创建Dataflow作业时，指定编译后的JSON模板文件：
  在控制台或命令行创建作业时，模板路径需指向编译生成的JSON文件（如gs://ai-datascience/templates/gcs_orc_snowflake_template或带.json后缀的对应文件），而非原始的gs://ai-datascience/script/gcs_orc_snowflake.py。

• 额外验证点：

  • 确认Python脚本符合Dataflow模板规范，包含run()函数或通过argparse处理模板参数。
  • 检查GCloud SDK版本与Dataflow运行环境兼容，避免版本不匹配问题。
  • 确保Dataflow服务账号拥有模板存储桶和staging存储桶的读取权限。

内容的提问来源于stack exchange，提问作者Abhishek Boga