如何编写SAS循环宏按日拉取数据并规避表阈值限制？

问题背景 #

需要提取2015年1月1日至2022年12月31日期间、涉及超10000个ID的事件级海量数据。原按月批量拉取的SAS宏因Teradata目标表的查询阈值限制执行失败，需改为按日粒度拉取并完成所有日数据的合并。

数据样例 #

原按月拉取宏代码（存在执行失败问题） #

%macro data(no,Start,End);
proc sql;
create table AllDataPoints as 
select * from connection to Teradata
(
 select distinct Id, seq, date, amount
 from table
 where date between &start and &end
);
quit;
%mend;

%data(1,'2015-01-01','2015-01-31');
%data(2,'2015-02-01','2015-02-28');
...
%data(12,'2015-12-01','2015-12-31');

解决方案：按日循环拉取+合并宏 #

以下是实现按日粒度拉取并自动合并所有数据的SAS宏代码，核心思路是遍历指定日期范围内的每一天，拉取当日数据存入临时表，最后合并所有临时表为总表：

完整代码 #

/* 按日循环拉取数据的宏 */
%macro daily_data_loop(start_date, end_date);
    /* 将输入的字符型日期转为SAS日期值 */
    %let start = %sysfunc(inputn(&start_date, yymmdd10.));
    %let end = %sysfunc(inputn(&end_date, yymmdd10.));
    %let total_days = %eval(&end - &start + 1);

    /* 初始化总表（空表，用于后续合并） */
    proc sql;
        create table AllDataPoints as
        select distinct Id, seq, date, amount
        from connection to Teradata
        (
            select * from table where 1=0 /* 空查询创建表结构 */
        );
    quit;

    /* 循环遍历每一天 */
    %do i = 0 %to &total_days - 1;
        %let current_date = %sysfunc(intnx(day, &start, &i));
        /* 转为Teradata兼容的字符型日期格式（'YYYY-MM-DD'） */
        %let td_current_date = "%sysfunc(putn(&current_date, yymmdd10.))";

        /* 拉取当日数据到临时表 */
        proc sql;
            create table daily_temp_&i as
            select distinct Id, seq, date, amount
            from connection to Teradata
            (
                select distinct Id, seq, date, amount
                from table
                where date = &td_current_date
            );
        quit;

        /* 将当日临时表数据追加到总表 */
        proc append base=AllDataPoints data=daily_temp_&i force;
        run;

        /* 删除临时表释放资源 */
        proc datasets lib=work nolist;
            delete daily_temp_&i;
        quit;
    %end;
%mend;

/* 调用宏，指定2015-2022年的日期范围 */
%daily_data_loop('2015-01-01', '2022-12-31');

代码说明 #

1. 日期转换与循环控制：将输入的起始/结束日期转为SAS日期值，计算总天数后循环遍历每一天
2. 空表初始化：先创建与目标表结构一致的空总表，避免后续追加时结构不匹配
3. 按日拉取：每日生成对应日期的Teradata查询，拉取当日数据到临时表
4. 数据合并：用proc append将每日临时表数据追加到总表，避免重复创建表
5. 资源清理：拉取并追加后删除临时表，释放SAS工作区资源

注意事项 #

• 日期格式兼容：确保Teradata表中date字段的格式与宏中生成的YYYY-MM-DD格式匹配，若Teradata使用其他日期格式，需调整td_current_date的输出格式
• 错误处理：可添加%if %sysfunc(exist(daily_temp_&i)) %then判断，避免空表追加报错；也可加入日志输出，追踪每日拉取情况
• 性能优化：若Teradata允许，可调整为每N天批量拉取（如每5天）平衡效率与阈值限制；或开启SAS的并行处理功能提升速度
• 去重保障：保留原代码中的distinct关键字，避免因重复拉取产生冗余数据

内容的提问来源于stack exchange，提问作者ckp