千万级数据集下高效生成周维度分组计数的SAS优化问询

针对千万级行的pharm数据集，以weekstart为维度的分组计数，以下几种方法比原PROC SQL实现效率更高：

方法1：使用PROC FREQ（推荐，最简洁高效） #

PROC FREQ是SAS专门为频数统计优化的过程，底层算法针对大数据集做了深度优化，无需额外排序即可得到有序结果：

proc freq data=pharm noprint;
    tables weekstart / out=week_counts(keep=weekstart count rename=(count=Weekcount));
run;

• noprint：关闭报表输出，节省IO资源
• out参数：直接生成包含分组和计数的数据集，自动按weekstart排序
• rename：将默认的count字段重命名为需求的Weekcount

方法2：使用PROC SUMMARY #

PROC SUMMARY专注于汇总统计，分组效率优于PROC SQL，适合需要自定义汇总规则的场景：

proc summary data=pharm nway missing;
    class weekstart;
    output out=week_counts(keep=weekstart Weekcount) n=Weekcount;
run;

• nway：仅保留weekstart单维度的分组结果，避免冗余汇总层级
• missing：若需统计weekstart为缺失值的分组，可保留该参数（无需则删除）
• 输出结果默认按weekstart排序，无需额外执行PROC SORT

方法3：DATA步结合HASH表（内存充足时最优） #

如果服务器内存能容纳所有weekstart的唯一值，HASH表可在内存中完成统计，完全避免磁盘IO开销：

data _null_;
    if _n_ = 1 then do;
        declare hash h(ordered:'a');
        h.defineKey('weekstart');
        h.defineData('weekstart', 'Weekcount');
        h.defineDone();
        call missing(weekstart, Weekcount);
    end;
    set pharm end=eof;
    if h.find() = 0 then do;
        Weekcount + 1;
        h.replace();
    end;
    else do;
        Weekcount = 1;
        h.add();
    end;
    if eof then h.output(dataset:'week_counts');
run;

• ordered:'a'：指定输出结果按weekstart升序排列
• 全程在内存中更新计数，处理速度远快于磁盘级的分组操作

原PROC SQL效率低的原因 #

PROC SQL的分组计数逻辑通用但缺乏针对性优化，在处理千万级数据集时，排序、分组的底层实现不如PROC FREQ/SUMMARY这类专门的统计过程高效，容易因磁盘IO瓶颈导致运行超时。

内容的提问来源于stack exchange，提问作者Jont