如何按单元格数据类型批量替换DataFrame非数值单元格值

针对10万行×10列规模的数据集，本应存储数值的列存在约1%纯字母、字母数字混合的非法值，优先选择向量化运算方案，效率远高于手写for循环。演示用样例数据结构如下：

推荐方案：pandas向量化实现（生产环境首选） #

核心逻辑是利用pandas底层C实现的类型转换能力自动识别非法值，不需要手写正则匹配非法格式，避免漏判、错判。

• 依赖准备：确保环境安装了pandas和numpy，数据读取阶段直接加载为DataFrame格式即可。
• 完整实现代码

import pandas as pd
import numpy as np

# 1. 读取/加载数据，此处用样例数据做演示，实际使用替换为你的数据读取逻辑
df = pd.DataFrame({
    'a': ['1', '5', 'tg', 'q2'],
    'b': ['2', 'e5', '56', '4'],
    'c': ['5', '9', '8', '75'],
    'd': ['f5', '6', 'r5', 'g']
})

# 2. 逐列做类型转换，所有无法转为数值的非法值自动标记为缺失值NaN
df = df.apply(pd.to_numeric, errors='coerce')

# 3. 填充缺失值，二选一即可
# 选项A：用对应列的有效值均值填充非法值
df = df.fillna(df.mean())

# 选项B：用自定义值填充，比如固定值0、列中位数、列众数
# df = df.fillna(0)  # 固定值填充
# df = df.fillna(df.median())  # 中位数填充

• 处理结果说明
  以上述样例数据为例，用均值填充后的结果为：
  • a列有效值为1、5，均值为3，原tg/q2位置替换为3
  • b列有效值为2、56、4，均值约为20.67，原e5位置替换为20.67
  • c列无非法值，保持原数值不变
  • d列有效值为6，均值为6，原f5/r5/g位置替换为6

备选方案：for循环实现（仅作逻辑参考，不推荐生产使用） #

逐行逐单元格循环的逻辑简单易懂，但执行效率极低，10万行数据处理耗时是向量化方案的上百倍，仅适合理解逻辑使用：

# 逐列遍历
for col in df.columns:
    valid_numbers = []
    # 第一遍遍历：收集当前列所有合法值，计算列均值
    for cell_val in df[col]:
        try:
            num = float(cell_val)
            valid_numbers.append(num)
        except ValueError:
            continue
    col_avg = sum(valid_numbers) / len(valid_numbers)
    
    # 第二遍遍历：替换所有非法值为列均值
    for row_idx, cell_val in enumerate(df[col]):
        try:
            float(cell_val)
        except ValueError:
            df.loc[row_idx, col] = col_avg
    # 整列转为数值类型
    df[col] = df[col].astype(float)

注意事项 #

• 计算列均值/中位数时，会自动排除被标记为缺失值的非法条目，计算结果完全基于合法数值，符合业务预期
• 如果数据中存在带千分位逗号、货币符号的合法数值，可以在类型转换前先做字符串清洗，比如df = df.applymap(lambda x: str(x).replace(',', '').replace('$', ''))再执行转换逻辑
• 不需要手写正则判断值是否为合法数值，pd.to_numeric内置的数值识别逻辑覆盖了所有标准数值格式，判断准确率远高于自定义正则
• 不要用逐行for循环处理10万行级别的数据，向量化方案的处理速度比原生Python循环快100~1000倍，全流程耗时通常不超过100毫秒。

内容的提问来源于stack exchange，提问作者Rahul Dev vasisht