for循环遍历Pandas DataFrame时列内存在的值判定为不存在问题求解

根因说明 #

• in 运算符作用于pandas Series 对象时，默认是检查目标值是否在Series的索引标签中，而非检查是否在Series存储的元素值中。
• 你的代码中df1['List1']是默认索引的Series，索引值为[0,1,2,3]，循环到i=4时，4 in df1['List1']实际判断的是4是否在索引列表里，返回False，因此触发打印逻辑。
• 前三个值1、2、3刚好和索引值重合，所以判断结果为True不会被打印，最终仅输出4。

正确实现方案 #

方案1：修改成员判断逻辑（适配原有循环写法） #

取出Series的元素数组再做判断，修改判断条件即可：

for i in df2['List2']: 
    # 加.values取元素数组，也可以用.tolist()转成Python列表判断
    if i not in df1['List1'].values:
        print(i)

修改后无输出，符合所有值都存在的预期。

方案2：使用pandas向量化方法（推荐，大数据量性能更优） #

无需写循环，直接用内置isin方法批量校验：

# 筛选出df2.List2中不存在于df1.List1的所有值
res = df2[~df2['List2'].isin(df1['List1'])]
print(res)

如果返回结果为空，就说明两个列值完全匹配。

内容的提问来源于stack exchange，提问作者dyl