Pandas DataFrame按条件替换NaN为0或0.1及缺失值填充方案咨询

报错原因与修复方案 #

你遇到的类型错误由两个问题共同导致：

• 判断逻辑中误用了按位与运算符&，且未将前后两个布尔条件分别用括号包裹，触发了pandas的运算符优先级错误
• 错误使用字符串'0'和数值型列做匹配，float类型的0和字符串'0'永远不相等，且类型不匹配直接触发类型错误

以下是符合你需求的可运行实现：

import numpy as np
import pandas as pd

def fill_nan_by_rule(df):
    for col in df.columns:
        # 仅处理存在NaN值的列
        if not df[col].isna().any():
            continue
        # 校验列中是否存在数值0
        has_zero = (df[col] == 0).any()
        if has_zero:
            # 存在0值时替换NaN为0.1
            df[col] = df[col].fillna(0.1)
        else:
            # 不存在0值时替换NaN为0
            df[col] = df[col].fillna(0)
    return df

# 调用方法，直接传入你的DataFrame即可
df = fill_nan_by_rule(df)

和你原来的代码相比做了以下优化：

• 用isna().any()替代isnull().sum() > 0，不需要全列计数，只要检测到存在NaN就进入处理逻辑，处理300列的场景性能提升明显
• 用pandas原生的fillna方法替换replace，针对NaN的处理效率更高，同时避免了inplace=True可能带来的原数据意外修改问题
• 直接用数值0做相等判断，适配int、float等所有数值类型列

缺失值填充策略建议 #

针对重量、尺寸、价格这类业务字段，选择填充值可以参考以下判断逻辑：

• 首先明确缺失值的业务含义：
  • 如果缺失代表「该属性不存在」，比如虚拟商品没有重量属性，优先用0或者约定的特殊值做标记，符合业务逻辑
  • 如果缺失代表「数据采集遗漏」，比如实体商品上架时漏填了重量，优先用统计值填充，避免0值给后续计算带来偏差
• 不同字段的具体建议：
  • 重量、尺寸类物理属性：如果是采集遗漏，优先用同品类分组后的均值/中位数填充，不要用全列均值，避免不同品类的属性差异带来的统计偏差；如果后续需要单独识别漏填数据，可以保留你当前的0/0.1规则，同时额外新增一列{字段名}_is_missing的二值标记字段，记录原值是否为缺失
  • 价格类业务属性：如果缺失代表商品未定价/无在售价格，用0标记即可；如果是已售商品漏填价格，优先用同时期同规格商品的成交均价填充
• 如果你后续要拿这些特征训练机器学习模型，无论选择哪种填充方式，都建议额外新增对应的缺失标记字段，避免填充操作丢失原数据的缺失信息

内容的提问来源于stack exchange，提问作者Saurus