大内存多核环境下如何加速Series的unstack-滚动运算-stack流程？

嘿，这个场景我之前帮不少人踩过坑——900万行的Series转成6000×8000的DataFrame，再做滚动运算后转回原格式，unstack/stack这两步本身就特别吃资源，很容易拖慢整个流程。既然你有50+核心和大内存的高性能机器，咱们可以从这几个方向下手，把性能拉满：

1. 跳过unstack/stack，直接在MultiIndex Series上做分组滚动 #

这是最有效的优化，因为unstack和stack会触发大规模的内存重组和索引重建，开销极大。如果你的Series是MultiIndex（能unstack成DataFrame肯定是），直接按分组维度做groupby+滚动运算就行：

假设你的Series索引是(group_id, time_id)，要对每个group_id做时间维度的滚动：

# 假设你的Series名为s
result_series = s.groupby(level='group_id').rolling(window=30).mean()

完全不需要展开成大DataFrame，而且pandas的groupby.rolling可以结合numba引擎开启并行，刚好利用你的多核CPU：

result_series = s.groupby(level='group_id').rolling(window=30).mean(engine='numba', engine_kwargs={'parallel': True})

2. 必须用DataFrame时，用Dask做多核并行处理 #

如果你的滚动逻辑必须在DataFrame上执行（比如跨列运算），那用Dask自动分片并行是最优选择。它会把大DataFrame拆成多个小分片，分配到不同核心上同时运算，避免单核心瓶颈：

import dask.dataframe as dd
from dask.dataframe import from_pandas

# 将pandas DataFrame转为Dask DataFrame，分片数建议和核心数匹配
ddf = from_pandas(your_unstacked_df, npartitions=50)
# 执行滚动运算（比如滚动均值）
ddf_rolled = ddf.rolling(window=30).mean()
# 合并分片转回pandas DataFrame
df_rolled = ddf_rolled.compute()

之后再stack回Series的速度也会因为DataFrame内存占用更合理而提升。

3. 优化数据类型，减少内存开销 #

6000×8000的DataFrame如果用默认的float64/int64类型，内存占用会非常夸张——光是float64的话就接近40GB（600080008字节）。把数据类型压缩到合适的精度，能大幅提升运算速度（CPU缓存命中率更高）：

# 查看当前内存占用
your_unstacked_df.info(memory_usage='deep')

# 把浮点列转成float32（如果精度允许）
float_cols = your_unstacked_df.select_dtypes(include=['float']).columns
your_unstacked_df = your_unstacked_df.astype({col: 'float32' for col in float_cols})

# 整数列转成最小可行的整数类型
int_cols = your_unstacked_df.select_dtypes(include=['int']).columns
your_unstacked_df[int_cols] = your_unstacked_df[int_cols].apply(pd.to_numeric, downcast='integer')

内存降下来后，unstack、滚动、stack的速度都会明显提升。

4. 用Numba加速自定义滚动函数 #

如果你的滚动逻辑不是pandas内置的（比如自定义聚合），用numba引擎编译代码，开启并行模式，能把Python代码的速度提升到接近C语言的水平：

import numba
import numpy as np

# 自定义滚动函数，比如计算窗口内的中位数（内置median也支持，但这里举自定义例子）
@numba.jit(nopython=True)
def custom_roll_median(window):
    return np.median(window)

# 应用到滚动窗口，开启并行
result_df = your_unstacked_df.rolling(window=30).apply(
    custom_roll_median,
    engine='numba',
    raw=True,  # 传入numpy数组而非pandas对象，减少开销
    engine_kwargs={'parallel': True}
)

最后总结优先级 #

优先尝试方案1（直接在Series上分组滚动），这能彻底消除unstack/stack的开销；如果必须用DataFrame，先做方案3的内存优化，再用方案2或方案4做并行加速。

内容的提问来源于stack exchange，提问作者user40780