基于SAS按var1分组求和：两种方法有效性咨询（SQL与First.var1数据步）

没问题！我来帮你整理这两种按var1分组求和的方法，顺便聊聊它们在大数据集上的可靠性～

首先明确你的需求：保留原数据集的所有行，新增sum_by_var1列存储对应var1分组的var3总和。这里要纠正你预期输出里的一个小笔误：var1=3的组只有一条数据var3=1，所以sum_by_var1应该是1而不是9，正确的预期输出最后一行应为3 c 1 1。

输入数据集 #

data have;
    input var1 var2$ var3;
    datalines;
1 a 3
1 a 4
1 a 3
2 b 5
2 b 3
3 c 1
;
run;

方法一：PROC SQL 关联法 #

SQL的思路很直接：先单独计算每个var1组的总和，再通过var1把总和关联回原数据集的每一行。

完整代码：

proc sql;
    create table want_sql as
    select 
        h.*,
        g.sum_by_var1
    from have h
    left join (
        -- 子查询计算每组的var3总和
        select var1, sum(var3) as sum_by_var1
        from have
        group by var1
    ) g
    on h.var1 = g.var1
    order by h.var1;  -- 可选排序，和原数据顺序保持一致
quit;

大数据集适配性 #

这个方法在大数据集上完全可靠：

• PROC SQL会自动优化关联逻辑，如果var1字段有索引，关联效率会大幅提升
• 整体只需要两次全表扫描（一次子查询求和，一次主查询关联），时间复杂度是O(n)，适合百万级甚至更大的数据集
• 不需要提前排序原数据，节省了排序的时间开销，尤其适合原数据已经有一定顺序的场景

方法二：Data Step + FIRST./LAST. 变量（DOW循环写法） #

这种方法需要先按var1排序，然后通过两次顺序遍历分组数据：第一次计算组内总和，第二次把总和赋值给组内每一行并输出。

完整代码：

-- 先按var1排序（如果原数据集已经按var1有序，这一步可以省略）
proc sort data=have out=have_sorted;
    by var1;
run;

data want_ds;
    -- 第一次循环：计算当前var1组的总和
    do until(last.var1);
        set have_sorted;
        by var1;
        total = sum(total, var3);
    end;
    -- 第二次循环：输出原数据的每一行，并带上该组的总和
    do until(last.var1);
        set have_sorted;
        by var1;
        sum_by_var1 = total;
        output;
    end;
    drop total;  -- 清理临时变量
run;

大数据集适配性 #

这个方法是SAS处理分组计算的经典高效写法，在大数据集上表现优秀：

• 仅需一次排序（如果原数据已排序则无需此步骤），两次顺序遍历数据集，I/O开销极低
• 采用DOW循环处理分组，内存占用小，即使单组数据量很大，SAS也会自动用磁盘缓存处理，不会出现内存溢出问题
• 避免了SQL关联可能的额外开销，在分组数量多但每组数据量小的场景下，效率甚至会比SQL方法更高

内容的提问来源于stack exchange，提问作者user1481397