Python pandas自定义缺失值检测函数无法识别完全空单元格问题咨询

为什么加了空字符串还是检测不到完全空的单元格 #

• 首先是类型匹配的根本偏差：pandas读取完全无内容的空单元格时，默认会将其解析为np.nan类型，而非空字符串。这也是你把空字符串加入匹配列表依然失效的核心原因：这类值有个核心特性——自身不等于自身，哪怕你把空字符串、NaN写进待匹配列表，用逐值in判断的逻辑永远无法命中这类值，因为np.nan == np.nan的结果永远是False，和你列里写的空字符串根本不是同一个类型，自然匹配不上。
• 原逻辑存在取行号的硬bug：遍历单元格取值时，用column_list.index(当前值)获取行号，这个方法只会返回列表里第一个出现该值的位置。哪怕当前遍历到第10行，只要第2行有相同的值，行号就会被错记为2，根本无法拿到正确的行位置，哪怕匹配上了缺失值，结果也是错的。
• 空白类值的匹配范围完全不足：你列表里写的单空格、空字符串，根本覆盖不了实际场景的各类空白形态——比如全角空格、连续多个半角空格、制表符\t、换行符这类不可见空白，这些字符串和你列表里固定长度的空白值根本不相等，自然匹配不上。
• 存在误判风险：你把数值0放进了通用缺失值匹配列表，会把本来合法的数值0单元格直接判定为缺失，反而引入新的检测错误。

不需要手动写双层循环逐单元格判断，利用pandas自带的向量化处理逻辑，就能兼顾所有缺失场景，代码效率和准确率都会高很多。核心思路是先把所有自定义缺失标识统一替换为pandas标准缺失标记，再用内置缺失检测方法定位行：

import pandas as pd
import numpy as np

def get_missing_row_indices(df: pd.DataFrame) -> list:
    # 按需求定义需要识别的自定义缺失标识
    custom_missing = ["NaN","NAN","NA","Na","n/a", "na", "--","-","None","-inf"]
    
    processed_df = df.copy()
    # 先处理字符串类型的列，解决空白字符串匹配不上的问题
    for col in processed_df.select_dtypes(include="object").columns:
        # 去掉字符串前后的所有空白字符，避免多空格、不可见空白的匹配偏差
        processed_df[col] = processed_df[col].str.strip()
        # 把匹配自定义标识、或是处理后为空的单元格，统一替换为pandas标准缺失值
        processed_df[col] = processed_df[col].replace(custom_missing, pd.NA)
        processed_df[col] = processed_df[col].replace("", pd.NA)
    
    # 批量判断每行是否存在任意缺失值（自动覆盖pandas原生识别的空单元格、NaN）
    missing_row_mask = processed_df.isna().any(axis=1)
    # 返回对应行的原始索引
    return df.index[missing_row_mask].tolist()

方案优势 #

• 彻底绕开了np.nan无法直接相等匹配的问题，不管是pandas原生读取的真正空单元格、还是自定义的各类文本标识、或是全空白的字符串单元格，都能被准确识别
• 向量化运算的效率远高于逐单元格循环，哪怕是几十万行规模的DataFrame也能快速出结果
• 不存在原逻辑中list.index()取错行号的问题，所有判断完全对齐原DataFrame的行索引，结果准确
• 灵活可控：如果确实需要把0这类特殊值识别为缺失，可以单独在对应数值列的处理规则里添加替换逻辑，避免全局误判合法数据

内容的提问来源于stack exchange，提问作者noricia