Pandas DataFrame列表列过滤报错求助：保留含无效值或NaN的行

错误原因 #

第一个TypeError #

你的lambda表达式中，pd.isna(x)作用于列表时会返回布尔数组，后续与any(...)做or运算时，Python无法直接判断数组的布尔值，触发迭代相关错误。另外，原逻辑的取反操作（~）和你需要保留行的要求完全相反，属于逻辑错误。

第二个ValueError #

函数里pd.isna(x)处理列表时会返回布尔数组，Python无法直接判断数组的真值（数组包含多个元素，无法确定用any()还是all()），因此抛出"真值模糊"的错误。

正确实现方式 #

核心思路：先区分标量NaN和列表类型，再分别处理判断逻辑；同时将valid_values改为集合，提升查找效率（集合的in操作是O(1)，列表是O(n)）。

方式一：自定义函数 #

import pandas as pd

def should_keep(x):
    valid_values = {"10a", "10b", "10c", "11a", "11b", "11c"}
    # 处理标量NaN的情况
    if pd.api.types.is_scalar(x) and pd.isna(x):
        return True
    # 处理列表类型：只要有元素不在valid_values中就保留
    elif isinstance(x, list):
        return any(v not in valid_values for v in x)
    # 其他类型（非列表非NaN），默认保留，可根据需求修改为False
    else:
        return True

df_filtered = df[df['Foo'].apply(should_keep)]

方式二：简化lambda表达式 #

import pandas as pd

valid_values = {"10a", "10b", "10c", "11a", "11b", "11c"}
df_filtered = df[df['Foo'].apply(
    lambda x: (pd.api.types.is_scalar(x) and pd.isna(x)) or 
              (isinstance(x, list) and any(v not in valid_values for v in x)) or
              True  # 非列表非NaN的情况，默认保留，可改False
)]

逻辑说明 #

• 保留标量NaN的行
• 保留列表中存在非valid_values元素的行
• 非列表非NaN的行可根据需求调整是否保留，代码中默认保留

内容的提问来源于stack exchange，提问作者Chris