如何在Pandas DataFrame中逐行计算满足不同日期区间条件的均值？

首先，先确认我们的原始数据（记得先把日期列转为datetime类型，这是容易忽略的关键点）：

import pandas as pd

data = {
    'date': ['2017-12-31', '2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04'],
    'M1_start': ['2018-01-01', '2018-02-01', '2018-02-01', '2018-02-01', '2018-02-01'],
    'M1_end': ['2018-01-31', '2018-02-28', '2018-02-28', '2018-02-28', '2018-02-28'],
    'SimPrices_t0_exp': [16.151667, 45.138445, 56.442648, 59.769931, 50.171695]
}
df = pd.DataFrame(data)

# 转换日期类型，这一步必须做！
df['date'] = pd.to_datetime(df['date'])
df['M1_start'] = pd.to_datetime(df['M1_start'])
df['M1_end'] = pd.to_datetime(df['M1_end'])

问题分析 #

你提到的代码返回全NaN的原因完全正确：你的mask是逐行判断当前行的date是否在当前行的M1_start/M1_end区间内，这显然不符合你的需求——你需要的是对每一行，找出所有行中date落在该行区间内的SimPrices_t0_exp的均值。

比如第一行的区间是2018-01-01到2018-01-31，对应的是后四行的date，所以均值是这四个数的平均值。

解决方案 #

下面提供两种方法，分别适合小数据集和大数据集：

方法1：用apply逐行处理（直观，适合小数据）

这和你写的伪代码逻辑完全对应，容易理解：

def get_row_mean(row):
    # 筛选出所有date在当前行区间内的数据
    matching_rows = df[(df['date'] >= row['M1_start']) & (df['date'] <= row['M1_end'])]
    # 返回均值，没有匹配行时返回NaN
    return matching_rows['SimPrices_t0_exp'].mean()

# 对每行应用这个函数
df['mymean'] = df.apply(get_row_mean, axis=1)

运行后得到的结果：

这完全符合预期：后四行的区间是2018-02-01及以后，而所有date都早于这个日期，所以没有匹配行，均值为NaN。

方法2：向量化广播（高效，适合大数据）

如果你的数据集很大，apply的循环效率会很低，这时候可以用Numpy广播来实现向量化计算：

# 将date转为列向量，方便和每行的start/end做广播比较
date_col = df['date'].values.reshape(-1, 1)
start_vals = df['M1_start'].values
end_vals = df['M1_end'].values

# 生成一个布尔矩阵：matrix[i,j]表示第j行的date是否在第i行的区间内
match_matrix = (date_col >= start_vals) & (date_col <= end_vals)

# 计算每行的均值：用价格乘以匹配矩阵求和，再除以每行的匹配数量
df['mymean'] = (df['SimPrices_t0_exp'].values * match_matrix).sum(axis=1) / match_matrix.sum(axis=1)

这个方法完全避免了Python层面的循环，效率提升非常明显，结果和方法1完全一致。

额外提示 #

• 如果需要处理NaN值，可以用df['mymean'] = df['mymean'].fillna(0)或者其他适合的填充方式。
• 一定要确保日期列是datetime类型，否则字符串比较会出现错误的结果。

内容的提问来源于stack exchange，提问作者N.M