基于非匹配日期字段的SQL/SAS两表关联技术方案咨询

首先得说，你之前的方法确实会在大数据量下卡壳——全连接（FULL JOIN）会让中间表数据量直接爆炸，而且只看end日期的绝对差，没优先考虑「区间内最新数据」的需求，这就导致结果不符合预期。下面给你两个高效的方案，适配百万级数据集，且严格满足你的匹配规则：

方案一：PROC SQL窗口函数法（代码简洁易维护） #

这个方法用窗口函数做分组排序，优先筛选区间内的最新数据，再 fallback 到最接近的外部数据，逻辑清晰且效率远高于全连接：

PROC SQL;
CREATE TABLE output.joined AS
SELECT *
FROM (
    SELECT 
        a.*,
        b.*,
        -- 标记B行是否完全落在A的区间内
        CASE WHEN b.start_date >= a.start AND b.end_date <= a.end THEN 1 ELSE 0 END AS in_range,
        -- 构造优先级分数：区间内的行用负end_date（降序变升序，最新的排最前）；区间外的行计算与A区间的最小距离
        CASE 
            WHEN b.start_date >= a.start AND b.end_date <= a.end THEN -b.end_date
            WHEN b.end_date < a.start THEN a.start - b.end_date
            ELSE b.start_date - a.end
        END AS priority_score,
        -- 按A行分组，给B行按优先级排序
        ROW_NUMBER() OVER (PARTITION BY a.participant, a.start, a.end 
                           ORDER BY in_range DESC, priority_score ASC) AS rn
    FROM work.table_A AS a
    LEFT JOIN work.table_B AS b
    ON a.participant = b.participant
) AS sub
WHERE rn = 1; -- 取每个A行对应的最优B行
QUIT;

关键逻辑说明： #

1. LEFT JOIN替代FULL JOIN：只保留A表的所有行，避免生成大量无意义的中间数据；
2. 优先级排序：
   • 先选in_range=1（完全在A区间内）的行，再考虑区间外的；
   • 区间内的行按end_date从新到旧排序（用负数值实现升序排序时的降序效果）；
   • 区间外的行按与A区间的最小距离排序，距离越近越优先；
3. ROW_NUMBER()窗口函数：每个A行的分组里只取排序后的第一行，就是你要的最优匹配。

方案二：DATA步HASH对象法（百万级数据性能最优） #

如果数据集规模超大（比如千万级），SAS的HASH对象会比PROC SQL更快——它把表B加载到内存，直接做内存级查找，避免磁盘IO的开销：

-- 先排序表，保证HASH遍历的顺序
PROC SORT DATA=work.table_A;
BY participant start end;
RUN;

-- 表B按participant分组，end_date降序排列（让最新的行先被遍历）
PROC SORT DATA=work.table_B;
BY participant descending end_date;
RUN;

DATA output.joined;
    -- 初始化HASH对象，存储表B的所有字段
    IF _N_ = 1 THEN DO;
        DECLARE HASH b_hash(DATASET:'work.table_B');
        b_hash.defineKey('participant');
        b_hash.defineData('participant', 'start_date', 'end_date', 'Content');
        b_hash.defineDone();
        -- 定义HASH迭代器，用来遍历同participant的所有B行
        DECLARE HITER b_iter('b_hash');
        CALL MISSING(start_date, end_date, Content);
    END;

    SET work.table_A;
    BY participant;

    -- 初始化匹配结果变量
    CALL MISSING(BEST_start_date, BEST_end_date, BEST_Content);
    MIN_delta = .;

    -- 遍历当前participant的所有B行
    rc = b_iter.first();
    DO WHILE(rc = 0);
        -- 先找区间内的最新行：因为B已经按end_date降序，第一个符合条件的就是最优解，直接跳出循环
        IF start_date >= start AND end_date <= end THEN DO;
            BEST_start_date = start_date;
            BEST_end_date = end_date;
            BEST_Content = Content;
            LEAVE;
        END;
        -- 区间外的行，计算与A区间的最小距离
        ELSE DO;
            IF end_date < start THEN delta = start - end_date;
            ELSE delta = start_date - end;
            -- 更新最小距离的匹配行
            IF MIN_delta = . OR delta < MIN_delta THEN DO;
                MIN_delta = delta;
                BEST_start_date = start_date;
                BEST_end_date = end_date;
                BEST_Content = Content;
            END;
        END;
        rc = b_iter.next();
    END;

    -- 整理输出字段
    KEEP participant start end BEST_start_date BEST_end_date BEST_Content;
    RENAME BEST_start_date = start_date BEST_end_date = end_date BEST_Content = Content;
RUN;

关键逻辑说明： #

1. HASH内存加载：把表B一次性加载到内存，后续每个A行的查找都是内存操作，速度极快；
2. 提前排序表B：让同participant的最新B行先被遍历，找到区间内的行直接跳出，减少不必要的遍历；
3. 区间外匹配：只保留距离A区间最近的B行，距离相同时因为表B是降序，会自动保留最新的行。

为什么你的原方法效率低？ #

1. FULL JOIN的灾难：百万级数据下，全连接会生成A行数 × 同participant的B行数的中间表，磁盘和内存开销直接拉满；
2. 匹配逻辑偏差：只看endA和endB的绝对差，既没优先考虑区间内的数据，也没区分「最新」的需求，结果自然不符合预期。

内容的提问来源于stack exchange，提问作者Pierce Draisma