You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何查找Dataflow的Datastream到BigQuery模板所需GCS桶的Pub/Sub订阅

Datastream to BigQuery Dataflow模板GCS对应Pub/Sub订阅获取方法
  • 首先确认你之前配置Datastream时指定的、用于存放同步文件的目标GCS桶
  • 进入GCS控制台找到对应桶,切换到「通知」标签页,点击添加通知:
    • 通知触发条件选择「对象创建完成时」
    • 事件格式选择JSON
    • 目标类型选择「Pub/Sub主题」,可以新建一个专属主题(命名规则可自定义,例如datastream-gcs-trigger-xxx),保存通知配置
  • 进入Pub/Sub控制台,找到刚才创建的主题,点击「创建订阅」:
    • 自定义订阅ID,投递类型选择「拉取」
    • 其余配置保持默认即可,点击保存
  • 你可以在订阅详情页顶部直接复制该订阅的完整资源路径,格式为projects/[你的项目ID]/subscriptions/[你的订阅ID],这个就是Dataflow模板要求填写的参数值

注意:需要提前为Dataflow运行服务账号配置该Pub/Sub订阅的读取权限、对应GCS桶的读取权限,以及目标BigQuery数据集的编辑权限,避免运行时报权限错误。

内容的提问来源于stack exchange,提问作者Shahrear Bin Amin

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.23 15:45:00