Google Ads同步BigQuery出现重复数据问题求助

可能的重复原因 #

• 回填范围的隐性冲突：你手动排除了已导入的周数据，但Google Ads同步的日期判定可能和你预期不符——比如是按广告数据的统计日期而非导入时间划分，或者系统自动同步的后续数据（比如回填后当天的新数据）和整月范围重叠，导致重复写入。
• 传输重试机制触发：Google Ads到BigQuery的同步遇到临时网络或服务故障时，会自动重试推送数据，即使是手动回填操作，也可能和系统自动重试的批次产生重复。
• 无唯一主键约束：默认同步的Google Ads数据表没有设置唯一主键（比如未结合customer_id、date、campaign_id、细分维度等生成唯一标识），完全相同的行可以被多次插入。
• 回填过滤逻辑失效：手动回填时的日期范围过滤可能因为格式不匹配（如YYYY-MM-DD和YYYYMMDD）、范围边界判定误差，导致已导入的数据被再次写入。

去重解决方案 #

• 查询层面临时去重：聚合计算时直接过滤重复行，两种常用方式：

  -- 方式1：先去重再聚合
  SELECT campaign_id, campaign_name, SUM(cost) AS total_cost
  FROM (SELECT DISTINCT * FROM `你的项目.你的数据集.google_ads_campaign_stats`)
  GROUP BY campaign_id, campaign_name;
  
  -- 方式2：用窗口函数保留最新版本的行（依赖_PARTITIONTIME或更新时间字段）
  SELECT * EXCEPT(row_num)
  FROM (
    SELECT *,
           ROW_NUMBER() OVER(PARTITION BY customer_id, date, campaign_id, ad_group_id ORDER BY _PARTITIONTIME DESC) AS row_num
    FROM `你的项目.你的数据集.google_ads_campaign_stats`
  )
  WHERE row_num = 1;
  

• 添加非强制唯一约束：给表添加业务维度的唯一约束，阻止后续重复插入（BigQuery目前仅支持非强制约束，用于逻辑校验）：

  ALTER TABLE `你的项目.你的数据集.google_ads_campaign_stats`
  ADD CONSTRAINT unique_ad_stats UNIQUE(customer_id, date, campaign_id, ad_group_id, segment)
  NOT ENFORCED;
  

• 重新全量同步：如果重复数据量不大，可先清空当前数据表，暂停自动同步任务，一次性导入整月数据后再恢复自动同步，避免分批导入的冲突。
• 检查同步任务配置：进入BigQuery数据传输服务，确认自动同步的频率、数据范围和手动回填的范围无重叠，同时调整任务的重试次数设置，减少不必要的重复推送。

内容的提问来源于stack exchange，提问作者rankRascal