如何在SAS Viya中用Proc FedSQL拆分大表为百万行级子表？

由于Proc FedSQL不支持monotonic()函数，我们可以用ANSI SQL标准的ROW_NUMBER()窗口函数来替代，实现按固定行数拆分大表的需求。以下是具体实现方案：

核心思路 #

1. 用ROW_NUMBER()为原表的每一行生成连续行号
2. 根据行号范围筛选数据，将每100万行拆分为一个独立子表
3. 用宏循环批量生成所有子表，避免手动重复操作

代码实现 #

假设你的大表存储在CAS库caslib下，表名为big_table，要拆分为sub_table_0、sub_table_1等子表，每个子表最多100万行：

%macro split_big_table();
    /* 计算需要拆分的子表总数 */
    proc fedsql sessref=casauto;
        select CEIL(COUNT(*)/1000000) into :num_tables from caslib.big_table;
    quit;

    /* 循环生成每个子表 */
    %do i=0 %to &num_tables.-1;
        proc fedsql sessref=casauto;
            create table caslib.sub_table_&i. as
                select *
                from (
                    /* 为原表生成连续行号 */
                    select *,
                           ROW_NUMBER() OVER () as row_num
                    from caslib.big_table
                ) t
                /* 筛选当前子表对应的行号范围 */
                where row_num between &i.*1000000 + 1 and (%eval(&i.+1)*1000000);
        quit;
    %end;
%mend;

/* 执行宏完成拆分 */
%split_big_table();

关键说明 #

• ROW_NUMBER()替代monotonic()：ROW_NUMBER() OVER ()会为结果集生成连续递增的行号，是FedSQL完全支持的标准函数，功能等价于monotonic()
• 保持排序（可选）：如果需要子表保持原表的顺序，可在OVER子句中添加排序字段，例如：ROW_NUMBER() OVER (ORDER BY primary_key) as row_num
• CAS引擎优化：基于CAS执行拆分，大数据量下会自动利用集群并行计算能力，效率远高于传统SAS环境
• 子表命名规则：子表按sub_table_0、sub_table_1顺序命名，可根据需求修改宏中的表名前缀

内容的提问来源于stack exchange，提问作者supercoolphysicist