如何校验DataFrame两列组合值是否在指定列表中并提取差异集
双列组合匹配实现方案
原始写法无法直接运行的核心原因是pandas未提供DataFrame层面的多列isin匹配能力,可通过以下两种常用方案实现需求:
方案1:元组转换法(小数据量场景更简洁)
将DataFrame的两列拼接为元组组成的Series,再和预先生成的元组列表做匹配,推荐将匹配列表转为集合提升查询效率:
# 生成待匹配的(公司名,地点)元组集合 pickled_pairs = {(d['company'], d['place']) for d in pickled_data} # 按行将两列转为元组后做包含判断,取反即为差异行 diff = df[~df[['company_name', 'place']].apply(tuple, axis=1).isin(pickled_pairs)]
方案2:Merge关联法(大数据量场景性能更优)
通过pandas的merge关联能力标记匹配状态,筛选仅存在于原DataFrame中的行:
# 将对比数据转为DataFrame格式 pickled_df = pd.DataFrame(pickled_data, columns=['company', 'place']) # 左连接并标记匹配来源 merged = df.merge( pickled_df, left_on=['company_name', 'place'], right_on=['company', 'place'], how='left', indicator=True ) # 筛选仅在原df中存在的行,清理多余字段 diff = merged[merged['_merge'] == 'left_only'].drop(columns=['company', '_merge'])
内容的提问来源于stack exchange,提问作者user14603676
相关产品推荐
相关产品推荐

