如何删除BigQuery千列表中重复uuid与message_timestamp的行

核心思路 #

针对uuid和message_timestamp同时重复的行（每组仅两行），通过窗口函数给每组重复行编号，删除编号为2的行（或任意编号，只要每组留一行即可），无需重建全表。

步骤1：验证重复数据（可选但推荐） #

先确认重复行的数量和分布，避免误操作：

SELECT 
  uuid,
  message_timestamp,
  COUNT(*) AS duplicate_count
FROM `你的项目ID.你的数据集ID.目标表名`
GROUP BY uuid, message_timestamp
HAVING duplicate_count > 1
LIMIT 20;

步骤2：执行删除操作 #

用CTE生成带行号的数据集，关联原表删除重复行：

WITH numbered_duplicates AS (
  SELECT 
    *,
    -- 按uuid+timestamp分组，随机给行编号
    ROW_NUMBER() OVER(PARTITION BY uuid, message_timestamp ORDER BY NULL) AS row_num
  FROM `你的项目ID.你的数据集ID.目标表名`
)
DELETE FROM `你的项目ID.你的数据集ID.目标表名` t1
USING numbered_duplicates t2
WHERE t1.uuid = t2.uuid
  AND t1.message_timestamp = t2.message_timestamp
  -- 删除每组中编号为2的行，留编号1的行
  AND t2.row_num = 2;

关键说明 #

• ORDER BY NULL让BigQuery随机排序，实现“任意删除一行”的需求；如果需要固定规则（比如保留某列值较大的行），可以替换为具体列，例如ORDER BY some_column DESC。
• 无需手动列出1000列，CTE中的*会自动包含所有字段，BigQuery会处理关联匹配。
• 执行删除前，建议先运行SELECT * FROM numbered_duplicates WHERE row_num=2预览要删除的行，确认无误再执行DELETE。

安全建议 #

操作前先创建备份表，防止误删：

CREATE TABLE `你的项目ID.你的数据集ID.目标表名_备份` AS 
SELECT * FROM `你的项目ID.你的数据集ID.目标表名`;

内容的提问来源于stack exchange，提问作者CClarke