Pandas高效替代循环：实现单元格与前一行及多列比较的优化方案

针对你处理8万+行数据时循环效率低下的问题，这里提供完全矢量化的实现方案，利用Pandas的内置批量操作替代循环，大幅提升执行效率：

核心思路 #

先标记出需要将列A的值写入列D的触发行，再通过**向前填充（ffill）**实现其余行继承前一行的D值，全程避免Python级别的循环操作。

具体代码实现 #

import pandas as pd
import numpy as np

# 假设你的数据存储在DataFrame df中
# 1. 构建触发更新的掩码（标记哪些行需要取A的值作为D）
mask = pd.Series(False, index=df.index)

# 处理第一行的条件：索引为0且B不等于"XYZ"
mask.iloc[0] = (df['B'].iloc[0] != 'XYZ')

# 处理后续行的条件：当前行C与前一行C值不同，且当前行B不等于"XYZ"
mask.iloc[1:] = (df['C'].iloc[1:] != df['C'].shift(1).iloc[1:]) & (df['B'].iloc[1:] != 'XYZ')

# 2. 初始化D列：满足掩码条件的行取A的值，其余设为NaN
df['D'] = np.where(mask, df['A'], np.nan)

# 3. 向前填充NaN，实现继承前一行的D值
df['D'] = df['D'].ffill()

方案优势 #

• 矢量化操作：所有判断和赋值都通过Pandas/Numpy的底层C实现完成，比Python循环快10~100倍，处理8万行数据仅需毫秒级时间。
• 代码简洁可维护：逻辑清晰，避免了循环中复杂的索引判断和状态维护。

边界情况处理 #

如果第一行的B值为"XYZ"，此时D的初始值会是NaN，后续如果有符合条件的触发行，ffill会自动从该触发行开始向后填充；若全程无符合条件的行，可根据需求添加fillna()设置默认值，例如：

# 若需要将无触发行的D列设为0
df['D'] = df['D'].ffill().fillna(0)

内容的提问来源于stack exchange，提问作者rabta abdi