DolphinDB中股票面板数据截面Z-score计算性能优化求助

我正在DolphinDB中进行股票面板数据的截面归一化处理，目标是按每个交易日计算截面内所有股票收益率的Z-score，输出需与原表行数一致。

最小可复现示例：

dates = sort(take(2024.01.02 2024.01.03 2024.01.04, 15))
tickers = take(`AAPL`MSFT`GOOG`AMZN`TSLA, 15)
ret = [0.01, -0.02, 0.03, -0.01, 0.02,
       0.00,  0.04, -0.03, 0.01, -0.02,
       0.02, -0.01,  0.01, 0.03, -0.04]
t = table(dates as date, tickers as ticker, ret as ret)

def zscore(x) {
    return (x - mean(x)) / std(x)
}

当前实现是遍历每个交易日单独计算后合并，代码如下：

dates_unique = exec distinct(date) from t

result_list = each(
    def(d) {
        sub_t = select * from t where date == d
        z = zscore(sub_t.ret)
        return table(sub_t.date as date,
                     sub_t.ticker as ticker,
                     sub_t.ret as ret,
                     z as zscore_ret)
    },
    dates_unique
)

final_result = unionAll(result_list)
select * from final_result order by date, ticker

该方法在大规模数据（约500只股票×500个交易日）下性能严重下降，因为循环无并行化或向量化处理。求无需外循环的高效实现方式？

高效实现方案 #

DolphinDB原生支持分组向量化计算，无需外循环，直接利用context by语法按交易日分组统计，再计算Z-score，性能远高于遍历实现。

方法1：直接使用context by计算（推荐） #

通过over date指定按date分组，直接在原表上生成Z-score列，全程向量化执行：

final_result = select 
    date, 
    ticker, 
    ret, 
    (ret - mean(ret) over date) / std(ret) over date as zscore_ret 
from t 
order by date, ticker

方法2：预计算统计量再关联 #

若需复用每个交易日的均值、标准差，可先分组统计再与原表关联：

// 预计算每个交易日的收益率均值和标准差
date_stats = select mean(ret) as mean_ret, std(ret) as std_ret from t group by date
// 关联原表并计算Z-score
final_result = select 
    t.date, 
    t.ticker, 
    t.ret, 
    (t.ret - date_stats.mean_ret) / date_stats.std_ret as zscore_ret 
from t left join date_stats on t.date = date_stats.date 
order by date, ticker

性能说明 #

两种方式均利用DolphinDB的并行向量化引擎，针对500×500规模的数据，计算速度比遍历实现提升一个数量级以上。方法1更简洁，无需额外关联操作，优先推荐。

内容的提问来源于stack exchange，提问作者Jane