SAS：大型数据集间共现记录数的高效统计方法

嘿，我太懂处理大型SAS数据集时MERGE语句拖慢速度的痛苦了！针对你要统计两个数据集里共同CASENO数量的需求，这里有几个比常规MERGE更高效的方案，尤其适合大数据场景：

方法1：PROC SQL 交集统计 #

PROC SQL在这类匹配计数场景下，往往比DATA步MERGE更高效——尤其是当你的数据集已经按CASENO排序，或者底层数据库能利用索引加速的时候。代码写起来也很简洁：

子查询版本 #

proc sql noprint;
    select count(distinct CASENO) into :common_count
    from dataset_1
    where CASENO in (select CASENO from dataset_2);
quit;
%put 共同的CASENO数量为：&common_count.;

内连接版本 #

如果习惯用连接语法，也可以这么写，结果完全一致：

proc sql noprint;
    select count(distinct a.CASENO) into :common_count
    from dataset_1 a
    inner join dataset_2 b
    on a.CASENO = b.CASENO;
quit;
%put 共同的CASENO数量为：&common_count.;

小贴士：如果你的CASENO在两个数据集里都是唯一值（就像示例里那样），可以去掉distinct关键字，能进一步提升速度。

方法2：哈希表内存匹配（超大型数据首选） #

如果你的数据集特别大，哈希表绝对是提速利器——它是内存级别的操作，完全避开了MERGE时的磁盘排序和IO开销。思路是把较小的数据集（比如dataset_2）加载到内存哈希表，然后遍历另一个数据集逐个匹配计数：

data _null_;
    if _n_ = 1 then do;
        declare hash h(dataset:'dataset_2');
        h.definekey('CASENO');
        h.definedone();
        call symputx('common_count', 0);
    end;
    set dataset_1;
    if h.find() = 0 then do;
        common_count = input(symget('common_count'), best.) + 1;
        call symputx('common_count', common_count);
    end;
run;
%put 共同的CASENO数量为：&common_count.;

这个方法的关键是选较小的数据集加载到哈希表，这样能节省内存占用，确保高效运行。只要你的内存能装下这个小数据集，速度会比MERGE快很多。

方法3：优化后的DATA步MERGE（适合一定要用MERGE的场景） #

如果因为某些原因必须用DATA步MERGE，那先给两个数据集去重+排序，减少合并时的数据量，也能提升效率：

/* 先去重排序，去掉重复的CASENO */
proc sort nodupkey data=dataset_1;
    by CASENO;
run;
proc sort nodupkey data=dataset_2;
    by CASENO;
run;

/* 合并计数 */
data _null_;
    merge dataset_1(in=a) dataset_2(in=b);
    by CASENO;
    if a and b then count + 1;
    call symputx('common_count', count);
run;
%put 共同的CASENO数量为：&common_count.;

不过这个方法本质还是依赖MERGE，效率提升不如前两种明显，只作为备选方案。

总的来说，优先推荐哈希表方法（内存足够的话）或者PROC SQL，根据你的数据集规模和可用内存来选就好！

内容的提问来源于stack exchange，提问作者Ross