BigQuery定时查询执行成功但目标表数据缺失问题咨询

常见根因 #

• 时区不匹配导致日期过滤失效：定时查询调度时区、查询语句中使用的日期函数时区、目标表分区时区三者不一致时，会出现日期偏移。比如调度时区设为UTC，查询用CURRENT_DATE()（默认取项目时区，国内项目通常是东八区），每天0点调度的任务拿到的UTC日期比东八区晚8小时，会过滤到前一天的空数据，查询运行成功但无结果可写入。
• 写入逻辑隐含跳过条件：如果追加语句包含MERGE、INSERT ... WHERE NOT EXISTS这类去重/幂等判断，若对应日期的分区已经存在（哪怕是空分区），会直接跳过写入步骤，作业不会返回错误。
• 写入权限临时异常：若任务运行瞬间，调度账号对目标表的WRITE_APPEND权限被临时变更（比如权限回收后立刻恢复），BigQuery调度层会标记作业成功，但实际写入请求被拦截，这类异常不会记录在查询错误日志中，仅能在IAM审计日志中查到。
• 源表数据未就绪：如果定时查询依赖的源表是其他ETL任务的输出、或者是流式写入表，任务调度时间早于源表对应日期数据完成写入的时间，查询返回空结果，自然无数据追加。

可落地排查步骤 #

• 复现问题查询：将定时查询中的动态日期变量替换为缺失数据的具体日期，手动运行查询，确认是否有结果返回。如果返回结果为空，直接定位是查询过滤逻辑的问题。
• 核查作业详情：用bq show -j [缺失日期对应定时作业ID]查看作业的详细统计信息，重点看statistics.query.output_rows字段，如果字段值为0，说明查询本身无输出，问题出在查询逻辑而非写入链路。
• 核对调度配置：检查定时任务的调度时区、查询语句中日期函数的时区参数、目标表分区的时区设置是否一致，优先统一为业务常用时区。
• 调整调度时间：如果是源数据延迟导致的问题，将定时任务的调度时间延后1~2小时，避开源表数据写入高峰期。

内容的提问来源于stack exchange，提问作者Filipe Beato