如何构建报表对比唯一group_id多用户多时点的指定属性录入差异

核心筛选逻辑不是匹配单条录入记录，而是筛选同一group_id下，存在跨用户、跨流程时间阶段、录入值不一致的录入场景，所有计算的前置步骤都是先过滤指定attribute_name范围内的有效数据，再完成聚合判定。

现代数仓/高版本SQL环境（MySQL8.0+/Spark SQL/Hive 3+） #

用CTE做分层计算，把硬过滤、聚合、筛选逻辑分层，代码可维护性和执行效率更高，具体实现：

WITH base_valid AS (
    -- 第一层：硬过滤指定属性范围的有效数据，剔除空值脏数据
    SELECT
        group_id,
        user_id,
        attribute_name,
        value_to,
        timestamp
    FROM source_process_record
    WHERE
        attribute_name IN ('name', 'price', 'spec') -- 替换为实际需要的属性清单
        AND user_id IS NOT NULL
        AND timestamp IS NOT NULL
        AND value_to IS NOT NULL
),
group_stat AS (
    -- 第二层：按group_id聚合，计算三个判定维度的统计值
    SELECT
        group_id,
        COUNT(DISTINCT user_id) AS diff_user_cnt, -- 同group下不同录入用户数
        COUNT(DISTINCT value_to) AS diff_value_cnt, -- 同group下不同录入值数
        COUNT(DISTINCT timestamp) AS diff_time_cnt, -- 同group下不同录入时间数
        COLLECT_LIST(CONCAT(user_id, '|', attribute_name, '|', value_to, '|', FROM_UNIXTIME(timestamp))) AS record_detail
    FROM base_valid
    GROUP BY group_id
)
-- 第三层：筛选同时满足三个条件的group作为报表输出
SELECT
    group_id,
    diff_user_cnt,
    diff_value_cnt,
    diff_time_cnt,
    record_detail
FROM group_stat
WHERE
    diff_user_cnt >= 2
    AND diff_value_cnt >= 2
    AND diff_time_cnt >= 2

低版本SQL环境（不支持CTE/窗口函数） #

用自关联的方式实现筛选，必须加同group、不同用户、不同值、不同时间、同属性的关联条件，避免跨属性的无效匹配：

SELECT DISTINCT t1.group_id
FROM source_process_record t1
INNER JOIN source_process_record t2
    ON t1.group_id = t2.group_id
    AND t1.attribute_name = t2.attribute_name -- 锁定同一属性的录入对比，避免跨属性误判
    AND t1.user_id != t2.user_id
    AND t1.value_to != t2.value_to
    AND t1.timestamp != t2.timestamp
WHERE
    t1.attribute_name IN ('name', 'price', 'spec')

注意：自关联写法仅适合小数据量场景快速出结果，百万级以上数据量下会有明显的性能损耗，生产环境优先使用CTE分层聚合的实现方式。

• 匹配粒度校准：如果业务要求的差异是同一属性下的跨用户录入不一致，需要把聚合维度从纯group_id调整为group_id + attribute_name，避免把“不同属性由不同用户录入”的场景误判为差异场景；如果只要group下任意属性存在跨用户、跨时间、值不一致的录入就纳入，就保持纯group_id的聚合粒度
• 时间阶段校准：如果业务的流程阶段是按规则定义（比如提交后1小时为初审、1-4小时为复核、4小时以上为终审），不要直接按自然天或原始timestamp做去重统计，先把timestamp映射为对应的流程阶段标签，再统计不同阶段数，更贴合业务实际判定
• 空值兼容：如果value_to存在空值/空字符串的情况，要提前约定两个空值的比较逻辑（比如两个不同用户录入的空值算不算相同录入值），避免统计结果不符合业务预期

• 关联补充维度：在输出结果里补充group对应的流程名称、创建人、所属业务线字段，减少业务人员的二次查询成本
• 明细下钻：每个group条目支持展开对应的录入明细（录入人、录入时间、录入值），方便业务人员直接定位差异点
• 增量刷新：利用timestamp字段做增量计算，每次刷新只处理新增的录入数据，合并原有group的统计结果，不用全表重算，降低计算资源消耗

内容的提问来源于stack exchange，提问作者Smaj