如何正确筛选DataFrame中列表值列的行？解决筛选报错

问题重现 #

给定数据集：

import pandas as pd

df = pd.DataFrame({
    'id': ['a', 'b', 'a', 'a', 'b'],
    'value': [1, 1, 2, 3, 3],
    'cond1': [['a','b'], ['a'], ['b'], ['a','b'], ['a','b']],
    'cond2': [[1,2], [1], [2], [1,2], [1,2]]
})

尝试直接用==比较列表列时抛出错误：

df.loc[(df['cond1']==['a','b']) & (df['cond2']==[1,2])]
# 错误：ValueError: ('Lengths must match to compare', (5,), (1,))

使用isin方法也报错：

df.loc[df['cond1'].isin([['a','b']]) & df['cond2'].isin([[1,2]])]
# 错误：SystemError: <built-in method view of numpy.ndarray object at ...> returned a result with an error set

正确解决方案 #

方法1：使用apply逐行精确匹配

通过apply对每行的列表值做精确比较，这是最直接的方式：

# 筛选cond1等于['a','b']且cond2等于[1,2]的行
filtered_df = df.loc[
    (df['cond1'].apply(lambda x: x == ['a', 'b'])) & 
    (df['cond2'].apply(lambda x: x == [1, 2]))
]

执行结果：

id  value     cond1    cond2
0  a      1  [a, b]  [1, 2]
3  a      3  [a, b]  [1, 2]
4  b      3  [a, b]  [1, 2]

方法2：转换为可哈希的元组后比较

由于列表是不可哈希的，无法直接作为==比较的对齐对象，我们可以先将列表列转换为元组（元组可哈希），再进行比较：

# 临时转换为元组列
df['cond1_tup'] = df['cond1'].apply(tuple)
df['cond2_tup'] = df['cond2'].apply(tuple)

# 筛选目标行
filtered_df = df.loc[
    (df['cond1_tup'] == ('a', 'b')) & 
    (df['cond2_tup'] == (1, 2))
].drop(['cond1_tup', 'cond2_tup'], axis=1)  # 删除临时列

错误原因说明 #

1. 直接==比较失败：Pandas会尝试将Series（长度为N）与单个列表（长度为1）进行广播对齐比较，由于长度不匹配，触发ValueError。
2. isin方法失败：isin要求传入的可迭代对象元素是可哈希的，但列表是不可哈希类型，导致底层numpy处理时抛出SystemError。

内容的提问来源于stack exchange，提问作者Ilja