使用PROC FREQ时内存不足，如何自动获取数据集列的唯一值与缺失值信息？

针对你处理百万行大表时遇到的PROC FREQ NLEVELS内存不足问题，我推荐几个更内存友好的替代方案，既能获取列名、唯一值数量和缺失值统计，又能避免一次性加载所有列数据到内存：

方案1：DATA步结合哈希表逐列处理 #

这种方法每次仅加载一列数据到内存，用哈希表统计唯一值，内存占用可控，适合超大型数据集：

步骤1：先获取目标表的列名列表 #

/* 替换&LIB为你的库名，&DATASET_NAME为目标表名 */
proc sql noprint;
    select name into :cols separated by ' '
    from dictionary.columns
    where libname = upcase("&LIB") 
      and memname = upcase("&DATASET_NAME");
    %let ncols = &sqlobs; /* 记录列数 */
quit;

步骤2：逐列统计唯一值与缺失值 #

data column_stats;
    length column_name $32 n_unique 8 n_missing 8;
    set &DATASET_NAME (obs=0); /* 仅读取表结构，不加载数据 */
    array cols[*] &cols; /* 定义列数组 */
    
    do i = 1 to dim(cols);
        column_name = vname(cols[i]); /* 获取当前列名 */
        
        /* 初始化哈希表存储唯一值 */
        declare hash h();
        h.defineKey(column_name);
        h.defineDone();
        
        n_missing = 0;
        /* 逐行读取当前列数据 */
        do until(eof);
            set &DATASET_NAME (keep=&cols[i]) end=eof;
            
            if missing(cols[i]) then do;
                n_missing + 1;
                continue; /* 缺失值不加入哈希表 */
            end;
            rc = h.add(); /* 非缺失值加入哈希表（自动去重） */
        end;
        
        n_unique = h.num_items(); /* 获取唯一值数量 */
        output; /* 输出当前列的统计结果 */
        h.clear(); /* 清空哈希表，为下一列释放内存 */
    end;
    
    drop i rc;
run;

方案2：PROC SQL循环逐列查询 #

这个方法代码更简洁，通过对每列单独执行统计查询，避免一次性加载全表内存：

proc sql;
    create table column_stats as
    select 
        name as column_name,
        /* 统计当前列的唯一值数量 */
        (select count(distinct &name) from &DATASET_NAME) as n_unique,
        /* 统计当前列的缺失值数量 */
        (select count(*) from &DATASET_NAME where missing(&name)) as n_missing
    from dictionary.columns
    where libname = upcase("&LIB") 
      and memname = upcase("&DATASET_NAME");
quit;

额外优化建议 #

• 如果你的服务器有足够内存，也可以尝试调整SAS的内存分配参数，比如options memsize=10g;（根据实际配置调整），但这只是临时缓解，大表场景下还是推荐前两种方法。
• 对于字符型变量，如果长度很长，可以在DATA步中声明更短的临时变量存储哈希键，进一步降低内存占用。

内容的提问来源于stack exchange，提问作者Dominic Foy