BigQuery含STRUCT嵌套列的表去重问题求助（已尝试哈希法）

看起来你遇到的核心问题是BigQuery不允许在SELECT DISTINCT或GROUP BY中直接使用STRUCT类型，而你之前尝试的哈希内连接方法没生效，是因为内连接会保留所有匹配哈希的行，没法只留唯一行。下面给你两种可行的解决方案：

方案一：基于整行生成唯一哈希，用窗口函数去重 #

这个方法通过将整行（包括STRUCT列）转换为JSON字符串，生成唯一的行哈希，然后用ROW_NUMBER()窗口函数为每个哈希分组保留第一行，实现去重：

WITH ranked_rows AS (
  SELECT
    *,
    -- 将整行转换为JSON字符串后生成SHA256哈希，确保唯一标识每一行
    ROW_NUMBER() OVER (
      PARTITION BY SHA256(TO_JSON_STRING(*)) 
      ORDER BY (SELECT NULL)  -- 不需要特定排序时用这个占位符，也可以替换成你需要的排序字段
    ) AS row_num
  FROM `your_project.your_dataset.your_table`  -- 替换成你的表路径
)
SELECT * EXCEPT(row_num)  -- 去掉辅助的行号列
FROM ranked_rows
WHERE row_num = 1;

为什么这个方法有效？ #

• TO_JSON_STRING(*)会把STRUCT列序列化为标准的JSON字符串，这样就能和其他列一起参与哈希计算，避免STRUCT类型的限制。
• ROW_NUMBER()会给每个相同哈希的行分配序号，我们只保留序号为1的行，就得到了去重后的结果。

方案二：基于指定列+STRUCT生成哈希（如果不需要整行去重） #

如果你不需要基于整行去重，而是想基于index_date、list_id加上STRUCT列的内容来判断唯一性，可以针对性地生成哈希：

WITH ranked_rows AS (
  SELECT
    *,
    ROW_NUMBER() OVER (
      PARTITION BY SHA256(
        CONCAT(
          CAST(index_date AS STRING), 
          list_id, 
          TO_JSON_STRING(your_struct_column)  -- 替换成你的STRUCT列名
        )
      ) 
      ORDER BY (SELECT NULL)
    ) AS row_num
  FROM `your_project.your_dataset.your_table`
)
SELECT * EXCEPT(row_num)
FROM ranked_rows
WHERE row_num = 1;

纠正你之前的内连接思路 #

你之前尝试的内连接方法之所以没生效，是因为table_unique_hash只存储了唯一的哈希值，但内连接会把所有匹配该哈希的行都拉回来，并没有实现“只保留一行”的效果。窗口函数是BigQuery处理这类去重场景更可靠的方式。

内容的提问来源于stack exchange，提问作者Roger