如何去除BigQuery表重复数据并修正GCP定时任务配置？

1. 先核查重复数据情况 #

先通过SQL确认重复数据的核心标识字段（比如业务主键、数据生成时间+唯一ID组合），以及重复量级：

SELECT 唯一标识字段1, 唯一标识字段2, COUNT(*) AS 重复次数
FROM `项目ID.数据集ID.目标表`
GROUP BY 唯一标识字段1, 唯一标识字段2
HAVING COUNT(*) > 1
ORDER BY 重复次数 DESC

这一步能帮你精准定位重复逻辑，确保后续去重操作不会误删有效数据。

2. 方案一：创建去重后的新表（推荐，安全可控） #

直接生成仅含唯一数据的新表，原表保留做备份：

• 若所有字段完全重复，用DISTINCT快速去重：

CREATE OR REPLACE TABLE `项目ID.数据集ID.去重后新表`
AS
SELECT DISTINCT *
FROM `项目ID.数据集ID.原表`

• 若存在插入时间这类每次运行都不同的字段，用窗口函数保留每组重复数据中的最新/最早条目：

CREATE OR REPLACE TABLE `项目ID.数据集ID.去重后新表`
AS
WITH 去重临时表 AS (
  SELECT *,
    ROW_NUMBER() OVER (
      PARTITION BY 唯一标识字段1, 唯一标识字段2  -- 按核心唯一字段分组
      ORDER BY 插入时间字段 DESC  -- 保留最新条目，要最早的改ASC
    ) AS rn
  FROM `项目ID.数据集ID.原表`
)
SELECT * EXCEPT(rn)
FROM 去重临时表
WHERE rn = 1

3. 方案二：直接在原表删除重复数据（需谨慎） #

如果不需要保留原表备份，可直接删除重复行，但执行前务必确认数据逻辑：

DELETE FROM `项目ID.数据集ID.原表`
WHERE EXISTS (
  SELECT 1
  FROM (
    SELECT 唯一标识字段1, 唯一标识字段2, 插入时间字段,
      ROW_NUMBER() OVER (
        PARTITION BY 唯一标识字段1, 唯一标识字段2
        ORDER BY 插入时间字段 DESC
      ) AS rn
    FROM `项目ID.数据集ID.原表`
  ) AS 临时表
  WHERE 临时表.rn > 1
    AND 临时表.唯一标识字段1 = `项目ID.数据集ID.原表`.唯一标识字段1
    AND 临时表.唯一标识字段2 = `项目ID.数据集ID.原表`.唯一标识字段2
    AND 临时表.插入时间字段 = `项目ID.数据集ID.原表`.插入时间字段
)

4. 修复Cloud Scheduler配置 #

将Cron表达式修改为正确的0 3 * * *（注意BigQuery使用UTC时区，若你的业务时区非UTC，需换算成对应UTC时间后配置），确保每日仅在凌晨3点运行一次。

内容的提问来源于stack exchange，提问作者Gojoe