Pandas无需循环：按条件修改DataFrame列值的向量化实现

原始数据 #

首先定义示例DataFrame：

import pandas as pd

d_test = {
    'random_staff' : ['gfda', 'fsd','gec', 'erw', 'gd', 'kjhk', 'fd', 'kui'],
    'cluster_number' : [1, 2, 3, 3, 2, 1, 4, 2]
}
df_test = pd.DataFrame(d_test)

需求说明 #

针对cluster_number列，指定某一目标值（示例为2），需完成：

• 保留该目标值的首次出现
• 后续每一次重复出现的目标值，替换为大于当前列最大值的递增唯一值

处理后预期结果：cluster_number列变为[1, 2, 3, 3, 5, 1, 4, 6]

高效向量化实现方案 #

无需循环，利用Pandas的向量化函数即可实现：

target = 2  # 设置要处理的目标cluster值
max_val = df_test['cluster_number'].max()

# 筛选出所有等于目标值的行
mask = df_test['cluster_number'] == target
# 计算目标值的累计出现次数（首次出现对应0，后续依次递增）
repeat_counts = mask.cumsum() - 1

# 替换非首次出现的目标值：用原最大值 + 重复次数生成唯一递增值
df_test['cluster_number'] = df_test['cluster_number'].mask(
    mask & (repeat_counts > 0),
    max_val + repeat_counts
)

执行后验证结果：

print(df_test['cluster_number'].tolist())
# 输出：[1, 2, 3, 3, 5, 1, 4, 6]

逻辑说明 #

1. mask：布尔数组，标记所有等于目标值的行
2. repeat_counts：通过累计求和得到目标值的出现顺序，减1后让首次出现对应0，后续重复项对应1、2...
3. mask()方法：仅对非首次出现的目标值（repeat_counts > 0）进行替换，替换值保证大于原列最大值且唯一递增

该方案全程为向量化操作，性能远优于循环实现，适合处理大规模数据集。

内容的提问来源于stack exchange，提问作者illuminato