如何向量化pandas iterrows去重逻辑仅保留首个重复时间值其余置空

云上老周

2026-10-6

优化方案

你要的功能完全可以用pandas内置的向量化方法实现，完全不需要遍历行，执行效率提升非常明显，数据量越大优势越突出。

优化后代码

import pandas as pd

def clean_times(df):
    # 增加边界判断，避免行数不足2时报错
    if len(df) < 2:
        return df
    # 兼容原逻辑：仅第二行Result含冒号时执行去重
    if ':' in df.iloc[1]['Result']:
        # 标记所有重复的Result值，首次出现的保留不标记
        duplicate_mask = df['Result'].duplicated(keep='first')
        # 重复行对应位置置空
        df.loc[duplicate_mask, 'Result'] = ''
    return df

代码说明

核心用了duplicated()方法，参数keep='first'是默认值，作用就是把除了第一次出现之外的所有重复值所在行标记为True，刚好匹配你要的「仅保留每组相同时间首个取值，后续重复置空」的需求。
这个方法是pandas底层C实现的向量化操作，完全规避了Python层遍历行的开销，十万行级数据处理速度比iterrows快几百上千倍。
如果你后续需求调整为仅连续重复的时间才置空，非连续的相同时间要保留，只需要把标记重复的代码改成：
```
duplicate_mask = df['Result'] == df['Result'].shift(fill_value='')
```
即可实现。