BigQuery标准SQL删除重复数据报错，求正确实现方案

你遇到的问题是因为BigQuery不支持直接对CTE（公共表表达式）执行DELETE操作——CTE只是临时的查询结果集，不是可修改的实体表，所以直接删CTE会触发语法错误。另外还有个小细节：你原来的ORDER BY CallRailCallId其实没作用，因为分区字段就是它，同分区内的记录排序后rn都会是1，根本删不掉重复数据，得换成能区分记录先后的字段（比如创建时间created_at）来决定保留哪一条。

下面给你几种在BigQuery里删除重复数据的有效方法：

方法1：使用DELETE结合子查询 #

这种方法直接针对原表操作，通过子查询找出需要删除的重复记录：

DELETE FROM `encoremarketingtest.EncoreMarketingTest.CallRailCall2`
WHERE TO_JSON_STRING(t) IN (
  SELECT TO_JSON_STRING(t)
  FROM (
    SELECT 
      t.*,
      ROW_NUMBER() OVER (PARTITION BY CallRailCallId ORDER BY created_at DESC) AS rn
    FROM `encoremarketingtest.EncoreMarketingTest.CallRailCall2` t
  )
  WHERE rn > 1
)

这里用TO_JSON_STRING(t)把整行转成字符串来唯一标识每条记录，如果你表中有主键或者唯一标识字段（比如自增ID），也可以用这些字段替代，效率会更高。

方法2：使用MERGE语句（推荐） #

MERGE是BigQuery官方推荐的修改数据的方式，逻辑更清晰：

MERGE `encoremarketingtest.EncoreMarketingTest.CallRailCall2` AS target
USING (
  SELECT 
    *,
    ROW_NUMBER() OVER (PARTITION BY CallRailCallId ORDER BY created_at DESC) AS rn
  FROM `encoremarketingtest.EncoreMarketingTest.CallRailCall2`
) AS source
-- 这里需要用能唯一匹配单条记录的字段组合
ON target.CallRailCallId = source.CallRailCallId 
   AND target.created_at = source.created_at
WHEN MATCHED AND source.rn > 1 THEN DELETE;

方法3：重写表（大数据量场景更高效） #

如果你的表没有实时写入的需求，重写表是最高效的方式，直接保留去重后的记录：

CREATE OR REPLACE TABLE `encoremarketingtest.EncoreMarketingTest.CallRailCall2`
AS
SELECT * EXCEPT(rn)
FROM (
  SELECT 
    *,
    ROW_NUMBER() OVER (PARTITION BY CallRailCallId ORDER BY created_at DESC) AS rn
  FROM `encoremarketingtest.EncoreMarketingTest.CallRailCall2`
)
WHERE rn = 1;

注意：这种方式会替换原表，执行前请确认数据备份或者没有实时写入的情况。

内容的提问来源于stack exchange，提问作者Mayank