跨项目Pub/Sub消息接入Dataflow管道时遇权限错误求助

问题核心 #

报错本质是Dataflow工作节点（Worker）使用的服务账号无权限访问项目A的Pub/Sub主题，而非你提交管道时用的服务账号。

解决步骤 #

• 给默认Worker账号加权限：Dataflow默认用项目B的[项目B编号]-compute@developer.gserviceaccount.com作为Worker执行账号，给这个账号在项目A中添加Pub/Sub Viewer或Pub/Sub Subscriber角色，至少要能读取主题元数据和订阅消息。
• 指定自定义Worker账号：提交管道时通过--service_account_email参数指定你已配置好权限的服务账号（即你提到的在两个项目都有Pub/Sub Admin的账号），同时确保这个账号在项目B拥有Dataflow Worker角色，否则Worker无法启动。
• 直接绑定主题IAM权限：在项目A的Pub/Sub主题IAM设置里，添加Worker使用的账号（默认或自定义），授予roles/pubsub.subscriber权限，等待1-2分钟让IAM权限生效。
• 创建订阅权限检查：如果Dataflow需要自动创建订阅（比如未显式指定订阅），Worker账号还需要项目A的Pub/Sub Editor权限，因为创建订阅需要修改主题配置。

额外排查项 #

• 确认管道命令中主题的完整路径projects/[项目A-ID]/topics/test-topic拼写正确。
• 若启用VPC Service Controls，需确保两个项目的服务边界允许跨项目Pub/Sub访问。

内容的提问来源于stack exchange，提问作者Martin Wiebusch