在GCP控制台使用自定义Apache Beam模板创建Dataflow管道遇两类问题

问题1：模板元数据识别失败 #

Template metadata error details
Fail to process as Flex Template and Legacy Template. Flex Template Process result:No SDK language information is provided., Legacy Template Process result:(35197769719996987970000d1381234f): Unable to open template file: gs://abc/extraction/templates/cron-template_metadata.

这是错误，不是警告——Dataflow无法识别你上传的模板类型，会导致后续配置无法正常加载，必须修复。

原因及解决步骤：

• 若上传的是Legacy模板：Legacy模板要求同一GCS路径下必须存在[模板名]_metadata文件，该文件是生成模板时自动生成的，你可能漏传了。重新检查模板生成流程，找到对应的cron-template_metadata文件，上传到gs://abc/extraction/templates/路径下即可。
• 若上传的是Flex模板：Flex模板需要明确SDK语言信息，生成模板时要确保添加了--sdk-language参数（如--sdk-language=java或python），或检查Flex模板镜像的配置是否包含语言标识，重新构建并上传正确的Flex模板。

问题2：无法充当Dataflow Worker服务账号 #

Job creation failed
User cannot act as Dataflow worker service account

Dataflow Admin权限不包含模拟服务账号的权限，你需要额外配置以下权限：

• 找到Dataflow使用的Worker服务账号（默认是[你的项目ID]-compute@developer.gserviceaccount.com，若为自定义账号则找对应的服务账号）
• 进入GCP IAM控制台，找到该服务账号，添加当前用户为成员，分配Service Account User角色（该角色包含iam.serviceAccounts.actAs权限，允许用户以服务账号身份执行操作）
• 保存配置后重新尝试创建管道。

内容的提问来源于stack exchange，提问作者SRJ