如何基于另一DataFrame的分组均值计算原DataFrame的扰动值？

针对你的需求，有两种可靠的实现方式，都能高效处理600万行的数据集，下面分步骤说明：

方法一：利用已有的均值数据集计算 #

如果你的均值数据集是严格按照原始数据每3行一组计算的，可以直接将均值数据扩展为和原始数据行数一致（每行重复3次），再对应列相减：

1. 对齐数据行数
   先确认原始数据行数是均值数据的3倍（避免分组不匹配），然后将均值数据的U、V、W、T列每行重复3次：

   import pandas as pd
   
   # 假设原始数据集为raw_df，均值数据集为avg_df
   assert raw_df.shape[0] == avg_df.shape[0] * 3, "原始数据行数需为均值数据的3倍，请检查分组逻辑"
   
   # 将均值数据扩展为与原始数据行数一致，仅保留需要计算的列
   expanded_avg = avg_df[['U', 'V', 'W', 'T']].loc[avg_df.index.repeat(3)].reset_index(drop=True)
   # 重置原始数据索引，确保对齐
   raw_df = raw_df.reset_index(drop=True)
   

2. 计算扰动值并生成结果
   复制原始数据的Date、Time列，然后逐列计算原始值与均值的差值：

   # 创建结果数据集，保留日期时间列
   result_df = raw_df[['Date', 'Time']].copy()
   
   # 计算各列扰动值
   result_df['U_perturbation'] = raw_df['U'] - expanded_avg['U']
   result_df['V_perturbation'] = raw_df['V'] - expanded_avg['V']
   result_df['W_perturbation'] = raw_df['W'] - expanded_avg['W']
   result_df['T_perturbation'] = raw_df['T'] - expanded_avg['T']
   

方法二：直接在原始数据上分组计算均值（更可靠） #

如果担心已有均值数据集的分组逻辑和原始数据不匹配，建议直接在原始数据上完成分组均值计算和扰动值计算，避免对齐错误：

1. 添加分组标签
   给原始数据每3行标记一个分组ID：

   raw_df['group_id'] = raw_df.index // 3
   

2. 计算分组均值并合并
   按分组ID计算U、V、W、T的均值，再合并回原始数据：

   # 计算每组的均值
   group_avg = raw_df.groupby('group_id')[['U', 'V', 'W', 'T']].mean().reset_index()
   
   # 将均值合并到原始数据，自动匹配分组
   merged_df = raw_df.merge(group_avg, on='group_id', suffixes=('', '_avg'))
   

3. 生成最终结果
   保留日期时间列，计算扰动值：

   result_df = merged_df[['Date', 'Time']].copy()
   result_df['U_perturbation'] = merged_df['U'] - merged_df['U_avg']
   result_df['V_perturbation'] = merged_df['V'] - merged_df['V_avg']
   result_df['W_perturbation'] = merged_df['W'] - merged_df['W_avg']
   result_df['T_perturbation'] = merged_df['T'] - merged_df['T_avg']
   
   # 可选：删除临时的group_id列
   # merged_df.drop('group_id', axis=1, inplace=True)
   

注意事项 #

• 600万行数据处理时，确保你的内存足够（pandas处理该量级数据通常需要8GB以上内存）；
• 如果原始数据的Date、Time列是时间格式，无需额外处理，直接保留即可；
• 两种方法都能高效完成计算，方法二更适合避免分组对齐错误的场景。

内容的提问来源于stack exchange，提问作者doctor strange