R语言60万行分钟级股票数据滚动相关计算优化方案咨询

可行优化方案如下 #

1. 优先采用滑动窗口递推方案 #

你之前对标准差更新的认知存在偏差，滚动标准差/方差完全可以实现O(1)复杂度的增量更新，无需遍历全窗口：

• 核心公式依赖方差的展开式：Var(X) = E(X²) - [E(X)]²，相关系数公式：Cor(X,Y) = [E(XY) - E(X)E(Y)] / (σ_X * σ_Y)
• 你只需维护5个滑动统计量：窗口内X的和、X的平方和、Y的和、Y的平方和、X与Y的乘积和
• 每次窗口滑动时，仅需要减去移出窗口的旧样本对应的5项值，加上新进入窗口的新样本对应的5项值，所有操作都是常数时间复杂度
• 整体计算复杂度为O(N)，60万行数据的计算耗时通常在毫秒级，远高于逐窗口调用cor函数的O(N*W)复杂度（W为窗口长度）

2. 直接使用高性能优化库实现 #

如果不想手写递推逻辑，可以直接使用生态内已经做过底层优化的第三方库：

• R语言场景：使用roll包的roll_cor函数，底层为C实现，做了内存对齐和向量化优化，支持多线程并行计算，百万行级数据可以秒出结果
• Python语言场景：优先使用polars库的rolling_corr方法，底层为Rust实现，比pandas自带的滚动相关计算快3~5倍，无需额外配置参数即可直接调用

3. 大窗口场景的额外优化 #

如果你的滚动窗口长度超过10000，可以选择基于FFT卷积实现的滚动计算方案，复杂度为O(N log N)，比线性递推的性能表现更好，普通股票分析场景下窗口长度大多在几百到几千，直接用递推方案即可。

注意事项 #

计算前请先将数据转换为纯数值向量/数组，避免使用数据框的逐行索引操作，可进一步提升执行效率。

内容的提问来源于stack exchange，提问作者RofyRafy