如何基于多列生成唯一值或确定数据集最小组合粒度？

一、生成唯一值的简便方法 #

直接拼接列存在潜在风险：如果列包含空值，或者不同列组合拼接后生成相同字符串（比如TRANACTION='AB' + CODE='C'和TRANACTION='A' + CODE='BC'），会导致伪唯一值。更可靠的方式有两种：

• 使用带分隔符的拼接函数：大多数数据库支持CONCAT_WS（分隔符优先拼接），能避免内容拼接冲突，部分数据库还会自动处理空值，示例：

  SELECT CONCAT_WS('|', TRANACTION, CODE, ID, DATE) AS unique_key
  FROM X;
  

• 生成哈希值：对列组合做哈希运算，得到固定长度的唯一标识，适合需要短唯一值的场景，示例：

  -- PostgreSQL/MySQL
  SELECT MD5(CONCAT_WS('|', TRANACTION, CODE, ID, DATE)) AS unique_hash
  FROM X;
  
  -- SQL Server
  SELECT HASHBYTES('MD5', CONCAT_WS('|', TRANACTION, CODE, ID, DATE)) AS unique_hash
  FROM X;
  

二、确定最小组合粒度（唯一标识的最少列） #

要找到能唯一标识每行的最小组合列，通用方法是逐步分组验证：

1. 先验证单列：

   SELECT TRANACTION, COUNT(*) AS row_count
   FROM X
   GROUP BY TRANACTION
   HAVING COUNT(*) > 1;
   

   如果无返回结果，说明TRANACTION单独就能作为唯一标识；若有结果，说明该列存在重复，需增加列继续验证。
2. 验证两列组合：

   SELECT TRANACTION, CODE, COUNT(*) AS row_count
   FROM X
   GROUP BY TRANACTION, CODE
   HAVING COUNT(*) > 1;
   

   以此类推，直到分组后无返回结果，此时的列组合就是最小组合粒度。

三、能否用拼接结果结合row_number()实现需求？ #

可以，但不推荐直接用拼接字符串作为分区依据——一是拼接可能产生内容冲突，导致错误分组；二是数据库无法利用列索引优化分区操作，性能不如直接用列组合。

更稳妥的写法是直接用列组合作为PARTITION BY的参数：

SELECT 
  TRANACTION, CODE, ID, DATE,
  ROW_NUMBER() OVER(PARTITION BY TRANACTION, CODE, ID, DATE ORDER BY (SELECT NULL)) AS rn
FROM X;

如果所有行的rn值都是1，说明这组列已经是唯一标识；若存在rn>1的行，说明该列组合有重复，需要调整列组合。

内容的提问来源于stack exchange，提问作者Tinkinc