如何遍历DataFrame中含指定子串的多列并批量修改前置列的值

实现思路 #

首先筛选所有列名包含String子串的列，再逐列复用原有判断逻辑即可，以下是两种实现方式：

1. 与原逻辑对齐的循环版本

改动最小，完全保留原有逐行判断逻辑，仅做泛化适配：

# 筛选所有包含String子串的列
string_cols = df.columns[df.columns.str.contains('String')]

for col in string_cols:
    # 计算当前String列左侧相邻列的索引
    left_col_pos = df.columns.get_loc(col) - 1
    for idx, val in enumerate(df[col]):
        if not math.isnan(val):
            df.iloc[idx, left_col_pos] = np.nan

2. 向量化优化版本

用pandas布尔索引替代逐行遍历，数据量较大时执行效率更高：

string_cols = df.columns[df.columns.str.contains('String')]
for col in string_cols:
    left_col_name = df.columns[df.columns.get_loc(col) - 1]
    # 批量将String列非空值对应的左侧列单元格设为NaN
    df.loc[~df[col].isna(), left_col_name] = np.nan

执行以上代码后得到的结果和需求中的目标DataFrame完全一致。

内容的提问来源于stack exchange，提问作者Dan G