在pd.DataFrame中校验列值与列表元素有效性报错求助

我有一个示例如下的pd.DataFrame：

data = {"col_x": ["1234", "5678", "9876", "1111"],
        "col_y": ["1234", "2222", "3333", "1111"],
        "col_grp": [pd.NA, ["5678", "9999"], ["9876", "5555", "1222"], pd.NA]}

df = pd.DataFrame(data)

我希望新增一列valid，用于判断col_x等于col_y，或者col_x存在于col_grp中。

我尝试了以下代码：

def check_validity(row):
    if row["col_x"] == row["col_y"]:
        return True
    if pd.notnull(row["col_grp"]):
        if isinstance(row["col_grp"], list):
            return row["col_x"] in row["col_grp"]
        else:
            return row["col_x"] == row["col_grp"]
    return False

df["valid"] = df.apply(lambda row: check_validity(row), axis=1)

但触发了错误：

ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

我了解在pd.DataFrame中存储list并不合适，在此致歉，恳请各位提供解决方法。

出现错误的核心原因是pd.notnull()处理列表类型时，会将整个列表视为数组返回布尔数组，而非单个布尔值，导致判断逻辑歧义。以下是两种可行的解决方式：

方案一：修正空值判断逻辑 #

直接用row["col_grp"] is not pd.NA替代pd.notnull()，避免对列表做数组式空值检查：

def check_validity(row):
    if row["col_x"] == row["col_y"]:
        return True
    if row["col_grp"] is not pd.NA:
        if isinstance(row["col_grp"], list):
            return row["col_x"] in row["col_grp"]
        else:
            return row["col_x"] == row["col_grp"]
    return False

df["valid"] = df.apply(check_validity, axis=1)

执行后得到的结果：

方案二：规范列格式（推荐） #

既然知道DataFrame存储列表不规范，建议先将col_grp转换为字符串格式，再用Pandas向量化操作实现判断，性能更优：

# 将非NA的列表转为逗号分隔的字符串，NA保持原样
df["col_grp_str"] = df["col_grp"].apply(lambda x: ','.join(x) if x is not pd.NA else pd.NA)

# 向量化计算valid列：col_x等于col_y，或者col_x出现在col_grp_str中
df["valid"] = (df["col_x"] == df["col_y"]) | df["col_grp_str"].str.contains(df["col_x"], na=False)

# 可删除临时辅助列
df = df.drop("col_grp_str", axis=1)

内容的提问来源于stack exchange，提问作者rekitsitats