如何在pandas DataFrame中判断列值是否存在于另一列并筛选排除对应行

核心逻辑是预存C列的所有非空唯一值，再对G列做反向存在性匹配过滤，这种方式查询效率远高于逐行遍历，适配大数据量场景。

分步实现代码 #

• 第一步：提取C列的所有非空唯一值，转成集合形式存储，大幅提升后续匹配速度

# 替换成你实际的列名即可
c_value_set = set(df['C'].dropna())

• 第二步：构造布尔筛选掩码，标记出所有需要保留的行（即G列值不在C列取值集合中的行）

# ~ 符号表示逻辑取反，即排除G列值存在于C列的行
filter_mask = ~df['G'].isin(c_value_set)

• 第三步：应用掩码从原DataFrame中提取符合条件的行，得到最终结果

filtered_df = df[filter_mask]

可直接运行的验证示例 #

我们可以用模拟数据快速验证逻辑正确性：

import pandas as pd

# 构造和需求匹配的模拟原数据
df = pd.DataFrame({
    'A': [1, 2, 3, 4, 5],
    'C': ['cat', 'dog', 'bird', 'fish', 'rabbit'],
    'D': ['a', 'b', 'c', 'd', 'e'],
    'G': ['dog', 'apple', 'fish', 'banana', 'cat']
})

# 执行过滤逻辑
c_value_set = set(df['C'].dropna())
filtered_df = df[~df['G'].isin(c_value_set)]

print("过滤后的数据：")
print(filtered_df)

运行后会输出仅保留G列取值不在C列范围内的行，完全匹配需要的筛选效果。

实用注意事项 #

• 数据量较大时必须用集合存储C列取值，不要直接用列表做存在性判断，否则整体查询耗时会随数据量增长明显上升
• 如果列中存在空值，可以根据需求调整过滤规则：默认逻辑会保留G列为空的行（因为空值不在C列的非空取值集合中），如果需要过滤掉空值行，可以在掩码中追加判断：

  filter_mask = ~df['G'].isin(c_value_set) & df['G'].notna()
  

• 如果实际列名和示例不同，替换代码中'C'、'G'为对应列名即可

内容的提问来源于stack exchange，提问作者Leto