含超60MM重复ID的Teradata表循环取数：SAS宏报错及Teradata宏咨询

• 现有Teradata数据表，包含2021-2023三年超6000万条ID记录，同一ID会在三年内重复出现
• 需要实现一个宏工具，按ID遍历，获取每个ID对应起止日期相同的最后一条记录
• 原使用SAS宏定义ID上下限做筛选，但代码报错且未达预期，咨询是否可通过Teradata宏实现该取数需求

%macro loopmerge(n);

 %do i=1 to &n.
 data _null_;
 call symputx('lower',%eval(&i-1)*25000000
 call symputx('upper',%eval(&i)*25000000

 Proc Sql;
   Connect to teradata (XXXXXXX);
   Create table DataTable as 
   select * from connection to teradata
   (Select ID,VAR1,VAR2
     From MyTable
     where Date between '2021-01-01' and '2023-12-31'
     and (&lower lt ID le &upper)
  );
Quit;

 %mend;

Teradata完全支持宏定义实现这类需求，且无需跨库传输数据，效率远高于原SAS方案。以下分两种场景给出实现方式：

1. 直接获取目标数据（无需循环） #

如果只是要提取每个ID的最后一条符合日期条件的记录，用窗口函数即可完成，不需要循环：

SELECT ID, VAR1, VAR2, Date
FROM (
    SELECT 
        ID, VAR1, VAR2, Date,
        ROW_NUMBER() OVER(PARTITION BY ID ORDER BY Date DESC) AS rn
    FROM MyTable
    WHERE Date BETWEEN '2021-01-01' AND '2023-12-31'
) t
WHERE rn = 1;

2. 分批次循环处理的Teradata宏 #

如果因数据量过大必须分批次处理，可使用Teradata宏结合循环逻辑实现：

REPLACE MACRO loop_id_batch() AS
(
    DECLARE v_lower BIGINT;
    DECLARE v_upper BIGINT;
    DECLARE v_max_id BIGINT;
    DECLARE v_batch_size BIGINT = 25000000;
    
    -- 获取ID的最大值
    SELECT MAX(ID) INTO v_max_id FROM MyTable;
    
    -- 初始化批次起始值
    SET v_lower = 0;
    SET v_upper = v_batch_size;
    
    -- 循环处理每个批次
    WHILE v_lower < v_max_id DO
        -- 创建临时表存储当前批次结果（可添加导出等后续操作）
        CREATE MULTISET VOLATILE TABLE batch_result AS
        (
            SELECT ID, VAR1, VAR2
            FROM (
                SELECT 
                    ID, VAR1, VAR2,
                    ROW_NUMBER() OVER(PARTITION BY ID ORDER BY Date DESC) AS rn
                FROM MyTable
                WHERE Date BETWEEN '2021-01-01' AND '2023-12-31'
                  AND ID > v_lower AND ID <= v_upper
            ) t
            WHERE rn = 1
        ) WITH DATA PRIMARY INDEX(ID) ON COMMIT PRESERVE ROWS;
        
        -- 此处可添加对batch_result的后续操作，比如导出到指定位置
        -- EXPORT ... FROM batch_result;
        
        -- 更新批次范围
        SET v_lower = v_upper;
        SET v_upper = v_upper + v_batch_size;
        -- 防止最后一批超过最大ID
        IF v_upper > v_max_id THEN SET v_upper = v_max_id;
    END WHILE;
);

原SAS宏的问题说明 #

你的SAS宏存在多处语法错误：

• %do i=1 to &n. 语句末尾缺少分号
• call symputx语句缺少右括号和分号
• 每次循环都会覆盖DataTable，无法累积结果
• 跨库循环传输数据效率极低，远不如直接在Teradata内处理

内容的提问来源于stack exchange，提问作者ckp