基于R+SQL统计各年份组合唯一姓名数量及问题排查

一、初始代码重复问题排查 #

• 重复计数的核心原因通常是未按姓名正确分组去重：比如关联查询或聚合操作时未指定GROUP BY name，导致同一姓名的多条记录被多次统计；
• 另一种可能是原始数据集存在重复行（同一姓名+同一年份的重复条目），未先去重就直接统计，导致年份组合的判断逻辑出错，进而重复计数。

二、三种改进方案（不使用GROUP_CONCAT） #

方案1：基于年份存在性的过滤统计 #

核心逻辑：先筛选出目标年份内的记录，再排除那些在其他年份也有出现的姓名，确保每个姓名仅被统计一次。

R+sqldf代码示例：

library(sqldf)

# 假设数据集为df，包含name（姓名）和year（年份）两列
result1 <- sqldf("
    SELECT name
    FROM df
    GROUP BY name
    HAVING 
        -- 确保所有出现的年份都在目标集合内
        SUM(CASE WHEN year NOT IN (2009, 2010, 2011) THEN 1 ELSE 0 END) = 0
")

# 统计符合条件的姓名总数
total_valid_names <- nrow(result1)

有效性确认：通过HAVING子句直接排除存在非目标年份的姓名，按姓名分组确保每个条目唯一，彻底解决重复计数问题，无需字符串拼接操作。

方案2：位运算映射年份组合 #

核心逻辑：将每个目标年份映射为唯一的二进制位（2009→1，2010→2，2011→4），对每个姓名的年份位求和，通过数值匹配目标年份组合（对应数值：1、2、4、3、5、6、7）。

R+sqldf代码示例：

result2 <- sqldf("
    SELECT name
    FROM df
    GROUP BY name
    HAVING SUM(CASE 
        WHEN year = 2009 THEN 1
        WHEN year = 2010 THEN 2
        WHEN year = 2011 THEN 4
        ELSE 0
    END) IN (1,2,4,3,5,6,7)
")

total_valid_names <- nrow(result2)

有效性确认：用数值替代字符串组合，避免了GROUP_CONCAT的使用，分组后每个姓名对应唯一的位运算结果，筛选逻辑高效且无重复计数问题。

方案3：明确匹配年份组合的条件判断 #

核心逻辑：针对每个目标年份组合，通过COUNT(DISTINCT year)、MIN(year)、MAX(year)的组合判断，精准匹配符合要求的姓名。

R+sqldf代码示例：

result3 <- sqldf("
    SELECT name
    FROM df
    GROUP BY name
    HAVING (
        -- 仅2009
        (COUNT(DISTINCT year) = 1 AND MIN(year) = 2009)
        OR
        -- 仅2010
        (COUNT(DISTINCT year) = 1 AND MIN(year) = 2010)
        OR
        -- 仅2011
        (COUNT(DISTINCT year) = 1 AND MIN(year) = 2011)
        OR
        -- 2009+2010
        (COUNT(DISTINCT year) = 2 AND MIN(year) = 2009 AND MAX(year) = 2010)
        OR
        -- 2009+2011
        (COUNT(DISTINCT year) = 2 AND MIN(year) = 2009 AND MAX(year) = 2011)
        OR
        -- 2010+2011
        (COUNT(DISTINCT year) = 2 AND MIN(year) = 2010 AND MAX(year) = 2011)
        OR
        -- 三年全有
        (COUNT(DISTINCT year) = 3 AND MIN(year) = 2009 AND MAX(year) = 2011)
    )
")

total_valid_names <- nrow(result3)

有效性确认：通过明确的条件覆盖所有目标年份组合，每个姓名仅被分组统计一次，无重复计数风险，逻辑直观易维护。

内容的提问来源于stack exchange，提问作者stats_noob