You need to enable JavaScript to run this app. 如何在pandas DataFrame中为不同月份应用对应阈值的条件筛选
优惠活动
大模型
产品
解决方案
定价
更多

如何在pandas DataFrame中为不同月份应用对应阈值的条件筛选

Pandas 按月份差异化阈值筛选不覆盖结果的实现方案

原代码核心问题

  • 单月循环生成的筛选结果是仅匹配当前月份的短索引子集,直接给整列结果列赋值时,pandas会按索引自动对齐,不在当前子集中的行全部填充NaN,直接覆盖掉之前已处理完成的其他月份结果。
  • 筛选布尔判断存在索引错位:用整列的数值和单月子集做大小比较,索引长度不匹配会导致判断结果错位,无法准确匹配超标值。

修正实现逻辑

核心思路是先初始化全量结果列,再逐月份定位超标值做局部替换,全程不整列覆盖已有结果。

步骤1:定义阈值映射

根据你给出的6个月阈值规则,先建立每个数值列对应的月份-阈值对应关系,也可以直接复用你原有代码里存在dataframes表中的阈值配置:

# 内置阈值映射(可按需替换为从dataframes表读取的配置)
month_threshold = {
    "TEMP_C_Avg": {1:45, 2:30, 3:45, 4:10, 5:15, 6:30},
    # 可按格式补充其他列的阈值,例如RH_Avg的规则
    # "RH_Avg": {1:100, 2:100, ...}
}

步骤2:实现无覆盖的逐行筛选

import pandas as pd

# 预提取每行所属月份,减少重复时间格式解析开销
dataframes2["month"] = dataframes2["fecha"].dt.month

# 遍历所有需要处理的数值列
for target_col in var_vars:
    if target_col not in dataframes2.columns:
        continue
    result_col_name = f"Prueba {target_col}"
    # 初始化结果列,先复制原始数值
    dataframes2[result_col_name] = dataframes2[target_col].copy()

    # 逐月份匹配阈值,仅替换超标值为缺失值
    for month_num, threshold in month_threshold[target_col].items():
        # 生成精准定位掩码:当前月份 + 数值超阈值
        exceed_mask = (dataframes2["month"] == month_num) & (dataframes2[target_col] > threshold)
        # 仅修改掩码选中的行,其他月份的结果完全不受影响
        dataframes2.loc[exceed_mask, result_col_name] = pd.NA

基于你提供的测试数据的验证输出

运行上述代码后,会得到和你预期完全一致的连续筛选结果:

fecha  TEMP_C_Avg  RH_Avg  Prueba TEMP_C_Avg
25 2020-02-01 10:00:00        29.0       5               29.0
26 2020-02-01 11:00:00        32.0     103                NaN
27 2020-03-01 10:00:00        55.0       3                NaN
28 2020-03-01 11:00:00        40.0       5               40.0
29 2020-04-01 10:00:00        10.0      20                NaN
30 2020-04-01 11:00:00         5.0      15                5.0
31 2020-05-01 10:00:00        20.0      15                NaN
32 2020-05-01 11:00:00         5.0     106                5.0
33 2020-06-01 10:00:00        33.0     107                NaN
34 2020-06-01 11:00:00        20.0      20               20.0

适配原有代码结构的改写版本

如果你需要保留原来从dataframes表读取阈值的逻辑,仅修正覆盖问题,可以将原代码改成如下形式:

meses = ["01", "02", "03", "04", "05", "06"]

for i in var_vars:
    if i not in dataframes2.columns.values:
        continue
    result_col = f"Prueba {i}"
    # 初始化结果列
    dataframes2[result_col] = dataframes2[i].copy()
    
    for j in range(len(meses)):
        current_month = int(meses[j])
        current_threshold = dataframes.loc[i][f"X{meses[j]}.max"]
        # 精准定位当前月份的超标行
        exceed_mask = (dataframes2["fecha"].dt.month == current_month) & (dataframes2[i] > current_threshold)
        # 局部替换,不影响其他月份的已有结果
        dataframes2.loc[exceed_mask, result_col] = pd.NA

这个写法完全解决了原代码整列覆盖的问题,处理1月的结果时不会被2月的循环操作清空,最终输出会和你预期的连续筛选效果完全匹配。


内容的提问来源于stack exchange,提问作者tonysg

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 10:06:03