SQL Server跨无键数据集匹配相似记录报错及优化需求

1. 报错原因分析 #

你遇到的报错核心是：子查询中同时包含非聚合字段Value和聚合函数COUNT(*)，SQL Server会自动将该子查询判定为聚合查询，要求所有非聚合字段必须出现在GROUP BY子句中——哪怕你没显式写GROUP BY，引擎的聚合逻辑也会触发这个校验规则。

2. 修正后的SQL语句 #

将COUNT(*)替换为窗口函数COUNT(*) OVER()，这样可以在不分组的前提下统计符合匹配条件的总记录数，同时避免聚合逻辑冲突：

SELECT
    a.Key1,
    a.Key2,
    a.Value AS A_Value,
    b.Value AS B_Value,
    b.Matching_Options
INTO [DB - Pricing].[dbo].[SL_OB_Match_LC_ALL_Matched]
FROM ##Table_A AS a
CROSS APPLY (
    SELECT TOP 1
        Value,
        COUNT(*) OVER() AS Matching_Options, -- 用窗口函数统计符合条件的总条数
        -- 提前计算相似度得分，提升排序可读性与效率
        (
            IIF(a.CAT1 = CAT1, 1 - CAT1_PCT, 0) +
            IIF(a.CAT2 = CAT2, 1 - CAT2_PCT, 0) +
            1 - ABS(a.Cont1_PCT - Cont1_PCT) +
            1 - ABS(a.Cont2_PCT - Cont2_PCT)
        ) AS SimilarityScore
    FROM ##Table_B
    WHERE
        a.Class = Class
        AND ABS(DATEDIFF(dd, a.Date, Date)) <= 14
    ORDER BY SimilarityScore DESC
) AS b

注：原语句中的rnw.CAT1_PCT疑似笔误，这里默认你引用的是##Table_B自身的CAT1_PCT字段，若实际来自其他CTE/表，请对应调整。

3. 大数据集性能优化方案 #

针对10万+300万的数据集，必须通过索引与逻辑优化降低查询耗时：

• 添加覆盖索引：给##Table_B创建联合索引，包含过滤字段与查询用到的所有字段，避免回表扫描：

  CREATE NONCLUSTERED INDEX IX_Table_B_Class_Date ON ##Table_B (Class, Date)
  INCLUDE (CAT1, CAT2, CAT1_PCT, CAT2_PCT, Cont1_PCT, Cont2_PCT, Value);
  

• 优化临时表索引：若##Table_A是临时表，同样给Class和Date字段添加索引，提升关联效率：

  CREATE NONCLUSTERED INDEX IX_Table_A_Class_Date ON ##Table_A (Class, Date);
  

• 简化计算逻辑：将相似度得分提前计算并命名，减少排序阶段的重复运算；若字段权重不同，可调整得分公式的系数。
• 分批处理：若单次执行内存压力过大，可将##Table_A按Class或日期分段，分批执行匹配后合并结果。

内容的提问来源于stack exchange，提问作者sam livingston