如何在SAS PROC SQL中简洁地按全部变量分组检测重复行？

嗨，面对250个变量还要手动写group by确实太折磨人了！这里有几个靠谱又简洁的方案帮你解决这个问题：

方法1：利用字典表生成变量列表（完美适配你的SQL需求） #

SAS的dictionary.columns表存储了所有数据集的变量元信息，我们可以用它自动获取所有变量名，再存入宏变量供proc sql调用：

/* 第一步：提取bigTable的所有变量名，存入宏变量var_list */
proc sql noprint;
    select name into :var_list separated by ', '
    from dictionary.columns
    where libname = 'WORK' /* 替换成你的数据集所在库名，比如SASUSER */
      and memname = 'BIGTABLE'; /* 注意：字典表中数据集名是大写存储的 */
quit;

/* 第二步：用宏变量实现自动按全部变量分组 */
proc sql;
    create table checkDupe as
    select count(*) as N, *
    from bigTable
    group by &var_list. /* 直接引用宏变量，自动包含所有250个变量 */
    having N > 1;
quit;

小提示：如果你的数据集不在WORK库，一定要把libname换成对应的库名，避免找不到变量列表。

方法2：用PROC SORT快速定位重复行 #

如果你只是想找出重复的行，proc sort的dupout选项可以直接输出所有重复记录，比写SQL更省心：

proc sort data=bigTable dupout=checkDupe noduprecs;
    by _all_; /* 这里_by _all_会自动按所有变量排序，无需手动列变量 */
run;

• noduprecs：保留唯一行，把重复的行输出到dupout指定的checkDupe数据集里
• 如果想保留所有重复行（包括重复的每一次出现），可以去掉noduprecs，写成out=unique_rows dupout=all_duplicates，这样all_duplicates里会包含所有重复的记录。

方法3：用HASH表高效检测（适合超大数据集） #

如果你的数据集特别庞大，HASH表方法的效率会更高，因为它不需要对全表排序：

data checkDupe;
    set bigTable;
    length key $ 32767; /* 定义存储所有变量拼接值的变量，长度按需调整 */
    key = catx('|', of _all_); /* 用分隔符把所有变量拼接成一个唯一键值 */
    if _n_ = 1 then do;
        declare hash h();
        h.defineKey('key');
        h.defineDone();
    end;
    if h.find() = 0 then output; /* 如果键值已存在，说明是重复行，输出 */
    else h.add(); /* 否则把新键值加入HASH表 */
run;

注意：这里的分隔符（示例用|）要选一个不会在变量值中出现的字符，避免因变量值包含分隔符导致误判。

内容的提问来源于stack exchange，提问作者hossibley