Python新手求助：如何检测Pandas DataFrame中的错误值？

嘿，作为刚实习时跟满是坑的DataFrame打过交道的过来人，太懂你这种找异常值的头疼了！针对你说的「数值列里混进奇怪字符串」的问题，分享几个实用的检测方法：

1. 先快速排查列的数据类型 #

首先用df.info()看看列的类型，如果某列本该是数值类型但显示为object，那大概率混进了字符串（包括异常值和带单位的合法值）。比如：

import pandas as pd

# 示例DataFrame
df = pd.DataFrame({
    "height": [120, "130 cm", "broken leaf", None, 150]
})

df.info()
# 输出里height列的dtype是object，说明有混合类型

2. 用pd.to_numeric筛选无法转换的异常值 #

这个方法能直接找出那些连「带单位的数值」都算不上的纯垃圾值：我们尝试把列转换成数值，无法转换的会被设为NaN，然后对比原列的非空值，找出转换后变成NaN的行——这些就是异常值。

代码示例：

# 对目标列尝试转换，errors='coerce'表示无法转换的设为NaN
converted = pd.to_numeric(df['height'], errors='coerce')

# 找出原列不为空，但转换后为空的行（就是异常值）
invalid_rows = df[df['height'].notna() & converted.isna()]

print("异常值所在行：")
print(invalid_rows)
# 会输出包含"broken leaf"的那一行

3. 用正则匹配合法格式，定位不符合的行 #

如果你的合法值是带单位的数值（比如"120 cm"），可以先写正则表达式匹配这种格式，然后找出不匹配的行：

import re

# 定义合法格式的正则：覆盖纯数字、带cm的数值、NaN
valid_pattern = r'^\d+\s+cm$|^\d+$|^nan$'

# 检查每行是否匹配合法格式
is_valid = df['height'].astype(str).str.match(valid_pattern, na=False)

# 找出不合法的行
invalid_rows = df[~is_valid]

print("异常值所在行：")
print(invalid_rows)

这里的正则可以根据你的实际合法格式调整，比如如果还有"1.5 m"这种，就把正则改成r'^\d+(\.\d+)?\s+(cm|m)$|^\d+(\.\d+)?$|^nan$'。

4. 自定义函数批量检查 #

如果你的异常值有特定特征（比如包含特定关键词），可以写个小函数遍历元素：

def is_error_value(x):
    # 如果是字符串，且不是带单位的数值，就判定为异常
    if isinstance(x, str):
        # 检查是否是带单位的数值（这里以cm为例）
        if not re.match(r'^\d+\s+cm$', x):
            return True
    return False

# 找出所有异常值的行
invalid_rows = df[df['height'].apply(is_error_value)]

print("异常值所在行：")
print(invalid_rows)

这些方法组合起来，基本能覆盖大部分场景了。要是遇到更特殊的异常格式，再针对性调整正则或者检查逻辑就行～

内容的提问来源于stack exchange，提问作者Nicolas Peille