如何在pandas DataFrame中为不同月份应用对应阈值的条件筛选
Pandas 按月份差异化阈值筛选不覆盖结果的实现方案
原代码核心问题
- 单月循环生成的筛选结果是仅匹配当前月份的短索引子集,直接给整列结果列赋值时,pandas会按索引自动对齐,不在当前子集中的行全部填充NaN,直接覆盖掉之前已处理完成的其他月份结果。
- 筛选布尔判断存在索引错位:用整列的数值和单月子集做大小比较,索引长度不匹配会导致判断结果错位,无法准确匹配超标值。
修正实现逻辑
核心思路是先初始化全量结果列,再逐月份定位超标值做局部替换,全程不整列覆盖已有结果。
步骤1:定义阈值映射
根据你给出的6个月阈值规则,先建立每个数值列对应的月份-阈值对应关系,也可以直接复用你原有代码里存在dataframes表中的阈值配置:
# 内置阈值映射(可按需替换为从dataframes表读取的配置) month_threshold = { "TEMP_C_Avg": {1:45, 2:30, 3:45, 4:10, 5:15, 6:30}, # 可按格式补充其他列的阈值,例如RH_Avg的规则 # "RH_Avg": {1:100, 2:100, ...} }
步骤2:实现无覆盖的逐行筛选
import pandas as pd # 预提取每行所属月份,减少重复时间格式解析开销 dataframes2["month"] = dataframes2["fecha"].dt.month # 遍历所有需要处理的数值列 for target_col in var_vars: if target_col not in dataframes2.columns: continue result_col_name = f"Prueba {target_col}" # 初始化结果列,先复制原始数值 dataframes2[result_col_name] = dataframes2[target_col].copy() # 逐月份匹配阈值,仅替换超标值为缺失值 for month_num, threshold in month_threshold[target_col].items(): # 生成精准定位掩码:当前月份 + 数值超阈值 exceed_mask = (dataframes2["month"] == month_num) & (dataframes2[target_col] > threshold) # 仅修改掩码选中的行,其他月份的结果完全不受影响 dataframes2.loc[exceed_mask, result_col_name] = pd.NA
基于你提供的测试数据的验证输出
运行上述代码后,会得到和你预期完全一致的连续筛选结果:
fecha TEMP_C_Avg RH_Avg Prueba TEMP_C_Avg 25 2020-02-01 10:00:00 29.0 5 29.0 26 2020-02-01 11:00:00 32.0 103 NaN 27 2020-03-01 10:00:00 55.0 3 NaN 28 2020-03-01 11:00:00 40.0 5 40.0 29 2020-04-01 10:00:00 10.0 20 NaN 30 2020-04-01 11:00:00 5.0 15 5.0 31 2020-05-01 10:00:00 20.0 15 NaN 32 2020-05-01 11:00:00 5.0 106 5.0 33 2020-06-01 10:00:00 33.0 107 NaN 34 2020-06-01 11:00:00 20.0 20 20.0
适配原有代码结构的改写版本
如果你需要保留原来从dataframes表读取阈值的逻辑,仅修正覆盖问题,可以将原代码改成如下形式:
meses = ["01", "02", "03", "04", "05", "06"] for i in var_vars: if i not in dataframes2.columns.values: continue result_col = f"Prueba {i}" # 初始化结果列 dataframes2[result_col] = dataframes2[i].copy() for j in range(len(meses)): current_month = int(meses[j]) current_threshold = dataframes.loc[i][f"X{meses[j]}.max"] # 精准定位当前月份的超标行 exceed_mask = (dataframes2["fecha"].dt.month == current_month) & (dataframes2[i] > current_threshold) # 局部替换,不影响其他月份的已有结果 dataframes2.loc[exceed_mask, result_col] = pd.NA
这个写法完全解决了原代码整列覆盖的问题,处理1月的结果时不会被2月的循环操作清空,最终输出会和你预期的连续筛选效果完全匹配。
内容的提问来源于stack exchange,提问作者tonysg
相关产品推荐
相关产品推荐

