如何提升pandas中使用loc()进行多行赋值的操作速度

问题根因 #

标准df.loc[row_mask, cols] = assigned_val方案每次执行时，都需要遍历全量200万行数据生成布尔掩码，哪怕最终仅命中10行，单次操作的时间复杂度为O(n)，多次执行的话开销会线性累加，因此会出现耗时过长的问题。

针对性优化方案 #

1. 为筛选列建立索引 #

如果你的筛选条件为固定几列的等值匹配，提前为这几列建立联合索引，后续行筛选直接走索引查找，时间复杂度可降至O(logn)，对于少量命中的场景性能提升极为明显。
代码示例：

# 仅需执行一次，为筛选列建联合索引，drop=False保留原列
df = df.set_index(['筛选列1', '筛选列2'], drop=False)

# 后续赋值直接走索引查找，无需扫描全表
df.loc[(条件值1, 条件值2), '目标列'] = 新值

2. 缓存行号快速定位 #

如果筛选条件比较复杂不适合建索引，提前把所有符合条件的行的整数位置计算出来并缓存，后续赋值直接用iloc按行号定位，避免每次重复计算布尔掩码。
代码示例：

# 提前计算所有待更新行的整数索引，缓存为列表
target_rows = df[筛选条件].index.tolist()
# 直接按行号赋值
df.iloc[target_rows, df.columns.get_loc('目标列')] = 新值

3. 合并多批赋值操作 #

如果需要执行多次赋值，不要逐次执行，把所有待更新的规则提前整理为映射表，一次性完成全量更新，仅需要遍历一次全表。
代码示例：

# 整理所有待更新规则，key为筛选列的取值组合，value为目标列的新值
update_map = {
    (val1_a, val2_a): new_val_a,
    (val1_b, val2_b): new_val_b,
    # 所有待更新条目都存入该字典
}

# 一次性完成全量更新
df['目标列'] = df.set_index(['筛选列1', '筛选列2']).index.map(update_map.get).fillna(df['目标列'])

通用多批赋值优化指引 #

• 优先合并修改操作：尽量不要逐次执行单条赋值，把所有待修改的规则提前整理好，一次性完成全量更新，避免多次遍历全表。
• 合理设计索引：高频用于筛选条件的列提前建立索引，将行筛选的时间复杂度从O(n)降到O(logn)，对于少量命中的场景提升尤其明显。
• 降低框架额外开销：如果操作逻辑简单，可以把目标列单独取出为numpy数组操作，完成修改后再赋值回DataFrame，减少pandas内部的索引对齐、副本检查等开销。
• 避免重复计算：同一个筛选条件多次使用的话，提前把掩码或者行号缓存下来，不要每次都重新计算。

内容的提问来源于stack exchange，提问作者Arul