SAS数据集处理：按Graduation条件保留行并对ID去重

需求回顾 #

• 保留所有Graduation="Yes"的行，无论ID是否重复
• 对于Graduation="No"的行，仅保留每个ID的首次出现

正确解决方案 #

方法1：排序后分组处理（通用方案） #

先对数据集按ID排序，确保同一ID的行连续，再利用SAS的BY组变量实现需求：

/* 按ID排序，确保同ID行连续 */
PROC SORT DATA=Library.Students OUT=Students_Sorted;
    BY ID;
RUN;

/* 生成目标数据集 */
DATA Library.Narrowed_Down;
    SET Students_Sorted;
    BY ID;
    /* 保留Yes行，或No行且为该ID首次出现 */
    IF Graduation = "Yes" OR (Graduation = "No" AND first.ID);
RUN;

说明：BY ID语句会自动生成first.ID变量，标记每个ID组的第一行。逻辑判断直接筛选符合要求的行，无需额外循环。

方法2：哈希表处理（大型数据集优化方案） #

如果数据集非常大，排序开销高，可以用哈希表实时追踪已处理的No类ID，无需排序：

DATA Library.Narrowed_Down;
    SET Library.Students;
    /* 初始化哈希表，存储已输出过的No类ID */
    IF _N_ = 1 THEN DO;
        DECLARE HASH id_hash();
        id_hash.defineKey('ID');
        id_hash.defineDone();
    END;

    IF Graduation = "Yes" THEN DO;
        OUTPUT;
    END;
    ELSE DO;
        /* 检查ID是否未被记录，是则输出并加入哈希表 */
        IF id_hash.check() NE 0 THEN DO;
            OUTPUT;
            id_hash.add();
        END;
    END;
    DROP id_hash;
RUN;

说明：哈希表通过check()方法判断ID是否已存在，add()方法记录已输出的No类ID，全程无需排序，适合超大型数据集。

原有代码问题分析 #

1. 第一段代码：缺少BY ID语句，SAS不会生成first.ID变量，导致ELSE IF first.ID条件永远不成立，仅输出Yes行。
2. 第二段代码：未定义id_seen变量，且无ID分组逻辑，id_seen会全局生效（仅第一个No行被输出），同时存在语法错误（DO块未用END闭合）。
3. 第三段代码：cnt是全局变量，未按ID重置，仅会保留第一个No行，无法实现每个ID保留首次No行的需求。
4. 第四段代码：变量名错误（exposure应为Graduation），且逻辑错误：first.ID会保留所有ID的首次出现（无论Graduation值），不符合需求。

内容的提问来源于stack exchange，提问作者randsakka