Pandas DataFrame条件筛选行遇脏数据报错问题求助

架构老林

2026-6-13

解决方案：筛选Pandas DataFrame中指定列含有效内容的行

问题分析

你的代码报错的核心原因是：df_obsFinding['Rejection_Comments'] is None是在判断整个Series对象是否为None，而非每行的元素是否为None。由于Rejection_Comments列中存在单个的None值，这个判断永远不成立，导致代码直接对所有元素调用len()，遇到None时就抛出TypeError。

另外，Comments列的元素都是列表（空或非空），而Rejection_Comments列混合了None和列表，需要针对性处理两种列的脏数据。

正确实现方式

以下是几种简洁且Pythonic的实现方案，核心逻辑是：筛选出Comments列非空列表 或 Rejection_Comments列既不是None也不是空列表 的行。

方案1：自定义函数处理单值判断

def has_valid_content(x):
    # 判断值是否为有效内容：非None且长度不为0
    if x is None:
        return False
    return len(x) != 0

# 生成布尔掩码：两列任意一列满足条件
mask = df_obsFinding['Comments'].apply(has_valid_content) | df_obsFinding['Rejection_Comments'].apply(has_valid_content)
df_ofComment = df_obsFinding.loc[mask]

方案2：Lambda表达式简化写法

# 直接用lambda组合判断逻辑
mask = (df_obsFinding['Comments'].apply(lambda x: len(x) != 0)) | \
       (df_obsFinding['Rejection_Comments'].apply(lambda x: x is not None and len(x) != 0))
df_ofComment = df_obsFinding.loc[mask]

方案3：结合Pandas内置方法处理None

利用notna()快速排除None值，再判断列表长度：

# Comments列：仅保留非空列表
comments_mask = df_obsFinding['Comments'].apply(len) != 0
# Rejection_Comments列：先排除None，再保留非空列表
rejection_mask = df_obsFinding['Rejection_Comments'].notna() & (df_obsFinding['Rejection_Comments'].apply(len) != 0)
# 合并掩码
mask = comments_mask | rejection_mask
df_ofComment = df_obsFinding.loc[mask]

关键注意点

不要用Series is None判断列内元素是否为None，这是判断整个Series对象是否为空，正确的元素级判断应该用Series.isna()或在apply中逐个检查x is None。
针对混合了None和列表的列，必须先排除None，再调用len()，避免类型错误。

内容的提问来源于stack exchange，提问作者KBD