如何查找Dataflow的Datastream到BigQuery模板所需GCS桶的Pub/Sub订阅
Datastream to BigQuery Dataflow模板GCS对应Pub/Sub订阅获取方法
- 首先确认你之前配置Datastream时指定的、用于存放同步文件的目标GCS桶
- 进入GCS控制台找到对应桶,切换到「通知」标签页,点击添加通知:
- 通知触发条件选择「对象创建完成时」
- 事件格式选择JSON
- 目标类型选择「Pub/Sub主题」,可以新建一个专属主题(命名规则可自定义,例如
datastream-gcs-trigger-xxx),保存通知配置
- 进入Pub/Sub控制台,找到刚才创建的主题,点击「创建订阅」:
- 自定义订阅ID,投递类型选择「拉取」
- 其余配置保持默认即可,点击保存
- 你可以在订阅详情页顶部直接复制该订阅的完整资源路径,格式为
projects/[你的项目ID]/subscriptions/[你的订阅ID],这个就是Dataflow模板要求填写的参数值
注意:需要提前为Dataflow运行服务账号配置该Pub/Sub订阅的读取权限、对应GCS桶的读取权限,以及目标BigQuery数据集的编辑权限,避免运行时报权限错误。
内容的提问来源于stack exchange,提问作者Shahrear Bin Amin
相关产品推荐
相关产品推荐

