使用GCP官方PubSubToBigQuery Dataflow模板搭建失败，模板信息未生成

我之前也碰到过一模一样的情况，你大概率是跳过了模板打包并上传到GCS模板桶的核心步骤——默认的mvn compile exec:java命令只是编译代码并尝试本地执行逻辑，并不会自动生成模板文件并推送到指定的/templates桶。下面是你需要补充的关键操作：

1. 使用正确的Maven命令触发模板上传 #

你需要在命令中添加--templateLocation参数指定模板的GCS存储路径，同时带上-Pdataflow-runner激活Dataflow运行器的打包逻辑。完整命令示例如下：

mvn compile exec:java -Dexec.mainClass=com.google.cloud.teleport.templates.PubSubToBigQuery \
  -Dexec.args="--templateLocation=gs://your-templates-bucket/templates/pubsub-to-bigquery \
  --stagingLocation=gs://your-staging-bucket/staging" \
  -Pdataflow-runner

记得把your-templates-bucket和your-staging-bucket替换成你自己的GCS桶名称，这个命令会自动把编译好的模板打包上传到指定的模板桶路径。

2. 检查GCE实例的权限覆盖范围 #

虽然你给了GCE实例GCS写入权限，但要确认这个权限是否覆盖了目标templates桶：

• 进入GCP控制台的IAM页面，找到GCE实例关联的服务账号
• 检查该账号是否拥有storage.objects.create和storage.objects.list权限，且作用范围包含你的templates桶
• 如果权限仅针对staging桶，需要补充templates桶的写入权限

3. 先清理并重新构建项目（排除依赖问题） #

有时候maven依赖下载不完整会导致模板打包失败，你可以先执行：

mvn clean install

清理本地构建缓存并重新下载所有依赖，确保项目编译完全正常后，再执行模板上传命令。

4. 查看命令执行日志定位细节 #

回头检查之前执行mvn命令的输出日志，里面会明确提示模板是否上传成功：

• 如果出现Permission denied，直接指向权限配置问题
• 如果出现Bucket not found，说明你的templates桶还未创建，需要先在GCS控制台创建该桶
• 如果出现依赖缺失报错，就对应上面的清理重建步骤

内容的提问来源于stack exchange，提问作者CMR