如何在Google BigQuery通过schedule query实现目标表无重复刷新

overwrite模式下目标表仍出现数据重复，通常是三类配置或逻辑问题导致的，按优先级排查即可：

• 检查调度任务的实际写入模式配置
  很多新手会在查询编辑页临时选择Overwrite写入，但没有把这个配置同步保存到schedule query的持久化参数里。去对应调度任务的配置页核对目标表的写入disposition，必须设置为WRITE_TRUNCATE——如果实际配置是WRITE_APPEND，哪怕UI显示选了overwrite，每次运行都会在原表基础上追加数据，自然会出现重复。
• 排查UNION合并逻辑的内置重复
  不要把重复问题全归到写入模式上，UNION语句本身的写法就可能引入重复：
  如果你用的是UNION ALL合并多表，会直接保留所有源表的原始行，只要多个源表存在跨表的重叠数据（比如同一笔订单同时存在于当月交易表和历史归档表），合并后就会出现重复行，哪怕写入是全量覆盖，最终数据量也会比预期的去重汇总多。
  注意：不带ALL的UNION虽然会自动去重，但大表场景下执行成本极高，不适合正式调度任务。
• 核查是否存在冗余的触发规则
  不少人把调度任务改成on demand触发时，没有删掉之前配置的定时触发cron规则，导致手动触发一次任务时，旧的定时作业也会并发运行，叠加append模式的写入逻辑，就会出现同一份数据被多次写入的重复问题。可以打开任务的运行历史面板，核对同一次刷新窗口是否存在多个并发执行的作业实例。

要实现刷新后目标表数据量与源表有效汇总完全一致，按以下步骤调整即可：

• 固化持久化写入参数：在schedule query的配置项中明确指定写入模式为WRITE_TRUNCATE，不要依赖查询编辑页的临时选择，配置完成后手动跑一次验证，确认作业运行日志里的写入disposition和配置一致。
• 优化UNION合并逻辑消除源端重复：在合并多表前，先对每个源表按业务唯一键做去重，比如用窗口函数ROW_NUMBER()为同一唯一键的重复行标记排序，只保留最新的有效记录，再做表间合并，避免把源表的交叉重复数据直接写入目标表。
• 清理冗余触发规则：确认调度任务的触发配置是纯on demand模式，没有残留的定时cron规则，避免多作业并发写入。

内容的提问来源于stack exchange，提问作者Oscar