Pandas如何根据Index、Next_Index值批量修改指定区间字段值

问题描述 #

我通过筛选得到了如下区间规则表，表结构包含Index、Next_Index、Value三个字段：

业务要求为：将目标DataFrame中，索引值落在每一行Index和Next_Index构成的闭区间内的value字段值设置为-1。以上述示例规则来说，最终效果需要和以下手动编写的代码执行结果完全一致：

df.loc[559:717, ("value")] = -1
df.loc[856:950, ("value")] = -1

目前我已经拿到了存储所有区间规则的Pandas表，需要找到可以依托规则表批量完成赋值的实现方法。

可行实现 #

方法1：直接遍历规则表逐行赋值 #

逻辑和手动写loc切片完全一致，代码最简洁易读，规则表行数不多（千级以内）的时候优先用这个方案：

# 假设存储区间规则的表名为rule_df，待处理的目标表为df
for _, rule in rule_df.iterrows():
    df.loc[rule['Index']:rule['Next_Index'], 'value'] = -1

方法2：掩码匹配批量赋值 #

如果规则表的区间量级很大（万级以上），可以先构造匹配掩码再统一赋值，执行效率更高：

# 初始化全为False的匹配掩码
match_mask = pd.Series(False, index=df.index)

# 遍历所有区间，更新匹配掩码
for start, end in zip(rule_df['Index'], rule_df['Next_Index']):
    match_mask |= (df.index >= start) & (df.index <= end)

# 一次性给所有匹配到的行赋值
df.loc[match_mask, 'value'] = -1

注意事项 #

• 执行赋值前请先确认目标DataFrame的索引是有序的，如果索引乱序请先执行df = df.sort_index()，否则区间切片结果会不符合预期
• 如果你的索引不是整数类型，需要保证Index和Next_Index字段的类型和DataFrame索引类型一致，避免类型不匹配导致的匹配错误

内容的提问来源于stack exchange，提问作者Winston