Python DataFrame中Type列错误值的清洗方案咨询

核心思路 #

利用Pandas的分组（groupby）与向量化操作，高效实现需求：

• 同一ID下，将Type为0.0的值替换为该ID下的有效非0值
• 若ID对应的Type全为0.0，则替换为NaN（或99，按需调整）

代码实现 #

1. 构造示例DataFrame

import pandas as pd
import numpy as np

# 模拟示例数据
df = pd.DataFrame({
    'ID': ['ABC', 'ABC', 'ABC', 'DEF', 'DEF', 'FCE', 'FCE', 'FCE', 'RED'],
    'Type': [10.0, 10.0, 0.0, 20.0, 0.0, 20.0, 20.0, 0.0, 0.0]
})

2. 方法一：分组+自定义处理函数

通过transform将逻辑应用到每个分组，逻辑清晰灵活：

def fix_type_group(group):
    # 提取分组内所有非0的有效Type值（去重）
    valid_vals = group[group != 0.0].unique()
    if len(valid_vals) > 0:
        # 替换组内0.0为有效数值
        return group.replace(0.0, valid_vals[0])
    else:
        # 全为0.0时替换为NaN（改为99即可替换成99）
        return group.replace(0.0, np.nan)

# 应用到Type列
df['Type'] = df.groupby('ID')['Type'].transform(fix_type_group)

3. 方法二：更简洁的向量化写法

利用mask和map直接映射有效值，代码更紧凑：

# 先提取每个ID对应的第一个有效Type值（非0）
id_valid_type = df[df['Type'] != 0.0].groupby('ID')['Type'].first()
# 替换Type列的0.0：用对应ID的有效值，无有效值则设为NaN
df['Type'] = df['Type'].mask(df['Type'] == 0.0, df['ID'].map(id_valid_type))

处理结果 #

两种方法都会得到符合需求的结果：

优势说明 #

• 完全避免手动循环字典，利用Pandas内置的向量化操作，数据量越大，性能优势越明显
• 代码可读性强，逻辑清晰，便于维护和扩展

内容的提问来源于stack exchange，提问作者Steve