GCP PubSub至BigQuery数据流转失败，求排查思路

一、服务账号权限细节核查 #

• 确认服务账号（SA）是否拥有PubSub Subscriber权限：仅配置BigQuery权限不足以拉取订阅消息，需确保SA在PubSub订阅或Topic层面被授予该权限
• 检查SA的BigQuery权限是否覆盖具体目标表：数据集层面的权限共享可能存在继承异常，手动为SA添加目标表的BigQuery Data Editor权限进行测试
• 验证SA是否具备BigQuery Job User权限：写入BigQuery需提交加载作业，该权限是作业提交的必要条件，部分场景下Editor权限不包含此项

二、订阅配置深度校验 #

• 核对多配置订阅的路由规则：确认消息属性与表的匹配逻辑（如属性名大小写、值的精确匹配）是否完全正确，路由规则错误会导致消息无法匹配到目标表
• 检查订阅的消息保留时长：若消息发布后超过保留时长才排查，消息可能已被自动删除，测试时需确保消息处于保留期内
• 确认订阅的启用状态与过滤规则：排查订阅是否被意外暂停，或是否设置了消息过滤规则导致符合条件的消息被拦截

三、日志与监控补充排查 #

• 查看BigQuery作业日志：在BigQuery控制台的“作业”页面，筛选SA提交的作业记录，即使无数据写入，作业失败也会留下日志信息
• 检查PubSub死信队列：若配置了死信队列，查看队列中是否堆积未处理消息，死信消息能直接反映处理失败的原因
• 启用PubSub详细日志：开启订阅的日志记录功能并选择详细级别，重新发布消息后查看消息拉取、处理的全流程日志

四、消息格式与表结构匹配验证 #

• 用bq load命令模拟测试：使用SA身份执行bq load命令，模拟PubSub消息的格式写入目标表，验证权限与格式是否存在问题
• 检查消息编码格式：确保消息采用UTF-8编码，BigQuery对非UTF-8编码的消息可能静默丢弃，无报错提示
• 严格匹配表结构与消息字段：确认消息字段的类型（如数字、字符串、嵌套结构）与目标表的字段类型完全一致，类型不匹配可能导致写入失败但无明显日志

内容的提问来源于stack exchange，提问作者JPowell