如何高效提取SAS库中多数据集公共变量的唯一值？现有代码优化及哈希方法咨询

嘿，我明白你想要的效果——从VIEW库所有以data_开头的数据集中，一次性提取id和visit的所有唯一值到单个数据集里，不用再手动合并去重对吧？你的现有代码思路没问题，但确实有更简洁高效的办法，咱们来一步步说：

方案一：用PROC SQL直接合并去重（最简洁） #

你完全不用循环生成N个中间表再手动proc append，直接用UNION ALL把所有数据集的id/visit拉到一起，再用DISTINCT去重就行，一步到位：

%macro get_unique_ids();
proc sql noprint;
    /* 先获取所有符合条件的数据集名，拼成VIEW.数据集名的格式 */
    select cats('VIEW.', memname) into :ds_list separated by ' union all '
    from dictionary.tables
    where libname = 'VIEW' and upcase(memname) like 'DATA_%';
    
    /* 直接生成最终的唯一值数据集 */
    create table unique_id_visit as
    select distinct id, visit
    from (&ds_list)
    order by id, visit;
quit;
%mend;

%get_unique_ids();

为什么这个更好？ #

• 少了中间表生成和后续合并的步骤，代码更简洁
• 直接在SQL里完成合并+去重，逻辑更清晰
• 避免了多个中间表占用磁盘空间

方案二：哈希表方法（大数据量下效率更高） #

如果你的数据集数量多、数据量很大，哈希表方法会更快——因为哈希表在内存中直接去重，不用反复读写磁盘。思路是遍历所有符合条件的数据集，用哈希表存储已经出现过的(id, visit)组合，只保留第一次出现的记录，最后输出哈希表里的内容：

%macro hash_unique_ids();
/* 先获取所有符合条件的数据集列表 */
proc sql noprint;
    select memname into :ds_list separated by ' '
    from dictionary.tables
    where libname = 'VIEW' and upcase(memname) like 'DATA_%';
quit;

data unique_id_visit;
    /* 定义哈希表，key是id和visit，用来去重 */
    declare hash h(ordered:'a');
    h.definekey('id', 'visit');
    h.definedata('id', 'visit');
    h.definedone();
    
    /* 遍历每个数据集 */
    %do i=1 %to %sysfunc(countw(&ds_list));
        %let ds_name=VIEW.%scan(&ds_list, &i);
        set &ds_name(keep=id visit);
        
        /* 如果当前(id,visit)不在哈希表里，就添加进去 */
        if h.find() ne 0 then do;
            h.add();
        end;
    %end;
    
    /* 一次性输出哈希表里的所有唯一记录 */
    h.output(dataset:'unique_id_visit');
    stop;
run;
%mend;

%hash_unique_ids();

哈希方法的优势： #

• 内存操作去重，速度远快于磁盘读写的合并去重
• 可以边读数据边去重，不用把所有数据都先拉到一起再处理
• 适合数据量较大、数据集较多的场景

对比你现有代码的优化点： #

你的原代码会生成多个以data_开头的中间表，之后还要手动合并再去重，不仅步骤繁琐，还会额外占用磁盘空间。上面两个方案都直接生成最终的唯一值数据集，省去了中间环节，效率和简洁度都提升不少。

内容的提问来源于stack exchange，提问作者Priyesh Sura