基于SAS实现股票数据集拆分及5分钟时段平均时长计算

针对你已完成按symbol拆分数据集的场景，以下提供两种高效的SAS代码实现方案，同时优化大数据量下的处理性能：

方案1：处理已拆分的独立股票数据集 #

通过宏循环批量处理每个拆分后的数据集，自动提取股票代码、计算时间区间并生成均值结果：

/* 定义宏：处理单个股票数据集 */
%macro process_single_stock(stock_ds);
    /* 从数据集名提取股票代码（假设数据集命名为STOCK_<symbol>，例如STOCK_AAPL） */
    %let symbol = %scan(&stock_ds, 2, '_');

    proc sql;
        /* 生成当前股票的区间均值结果 */
        create table &stock_ds._result as
        select 
            "&symbol" as symbol length=10,
            /* 格式化时间区间为"HH:MM-HH:MM"格式 */
            catx('-', put(interval_start, time5.), put(intnx('minute5', interval_start, 1, 's'), time5.)) as time_interval length=11,
            mean(duration) as avg_duration format=8.2
        from (
            select 
                duration,
                /* 计算5分钟区间的起始时间：从09:30开始按5分钟步进 */
                intnx('minute5', '09:30:00't, floor((timepart(trade_dt) - '09:30:00't)/300), 's') as interval_start
            from &stock_ds
            /* 过滤交易时间在09:30-16:00范围内的记录 */
            where timepart(trade_dt) between '09:30:00't and '16:00:00't
        )
        group by interval_start
        order by interval_start;
    quit;

    /* 将当前股票结果追加到总结果数据集 */
    proc append base=final_stock_results data=&stock_ds._result force;
    run;
%mend;

/* 获取WORK库中所有拆分后的股票数据集列表 */
proc sql noprint;
    select memname into :stock_list separated by ' '
    from dictionary.tables
    where libname='WORK' and memname like 'STOCK_%';
quit;

/* 循环处理每个股票数据集 */
%let i=1;
%do %while(%scan(&stock_list, &i) ne );
    %let current_ds = %scan(&stock_list, &i);
    %process_single_stock(&current_ds)
    %let i=%eval(&i+1);
%end;

方案2：直接在原始合并数据集处理（更高效） #

6000万条数据拆分后会增加IO开销，建议跳过拆分步骤，直接在原始数据集上分组计算，性能更优：

/* 直接基于原始数据集生成最终结果 */
proc sql;
    create table final_stock_results as
    select 
        symbol,
        catx('-', put(interval_start, time5.), put(intnx('minute5', interval_start, 1, 's'), time5.)) as time_interval length=11,
        mean(duration) as avg_duration format=8.2
    from (
        select 
            symbol,
            duration,
            /* 计算5分钟区间起始时间（兼容datetime类型的交易时间，提取时间部分计算） */
            intnx('minute5', '09:30:00't, floor((timepart(trade_dt) - '09:30:00't)/300), 's') as interval_start
        from original_trade_data
        /* 过滤有效交易时间范围 */
        where timepart(trade_dt) between '09:30:00't and '16:00:00't
    )
    group by symbol, interval_start
    order by symbol, interval_start;
quit;

关键细节说明 #

1. 时间区间计算逻辑：

   • 用intnx('minute5', ...)生成5分钟区间的起始点，floor((timepart(trade_dt)-'09:30:00't)/300)计算当前交易时间属于09:30开始的第几个5分钟区间（300秒=5分钟）
   • 如果你的trade_dt是纯时间类型（非datetime），直接替换timepart(trade_dt)为trade_dt即可

2. 空区间补充（可选）：
   如果需要包含无交易记录的5分钟区间（显示均值为0或缺失），可以先生成所有时间区间的笛卡尔积，再与交易数据左连接：

   /* 生成09:30-16:00的所有5分钟区间列表 */
   data all_time_intervals;
       start_time = '09:30:00't;
       do while(start_time <= '16:00:00't);
           time_interval = catx('-', put(start_time, time5.), put(intnx('minute5', start_time, 1, 's'), time5.));
           output;
           start_time = intnx('minute5', start_time, 1, 's');
       end;
       format start_time time5.;
   run;
   
   /* 生成股票代码与时间区间的笛卡尔积 */
   data all_symbol_intervals;
       set all_time_intervals;
       set original_trade_data(keep=symbol) nodupkey;
   run;
   
   /* 左连接计算均值，空区间填充0 */
   proc sql;
       create table final_results_with_empty as
       select 
           a.symbol,
           a.time_interval,
           coalesce(mean(b.duration), 0) as avg_duration format=8.2
       from all_symbol_intervals a
       left join (
           select 
               symbol,
               intnx('minute5', '09:30:00't, floor((timepart(trade_dt)-'09:30:00't)/300), 's') as start_time,
               duration
           from original_trade_data
           where timepart(trade_dt) between '09:30:00't and '16:00:00't
       ) b
       on a.symbol = b.symbol and a.start_time = b.start_time
       group by a.symbol, a.time_interval, a.start_time
       order by a.symbol, a.start_time;
   quit;
   

内容的提问来源于stack exchange，提问作者Vir Gandhi