基于if-else条件规则合并Pandas DataFrame的问题求助
分步实现动态规则的DataFrame合并
直接上可运行的解决方案,先构造示例数据方便你理解:
import pandas as pd import numpy as np # 构造示例df1 df1 = pd.DataFrame({ 'type': ['A', 'A', 'B', 'C'], 'num1': [1, 2, 1, np.nan], 'value1': [10, 20, 30, 40] }) # 构造示例df2 df2 = pd.DataFrame({ 'type': ['A', 'A', 'B', 'C'], 'num1': [1, np.nan, 1, np.nan], 'value2': [100, 200, 300, 400] })
接下来按你的规则拆分处理:
- 拆分df2为空和非空子集
# 拆分df2:num1为空的部分 df2_null = df2[df2['num1'].isna()].copy() # num1非空的部分 df2_notnull = df2[~df2['num1'].isna()].copy()
- 处理非空子集的拼接列
注意要把num1转成字符串,避免类型错误:
# 给df1和df2_notnull生成拼接列 df1['type_num1'] = df1['type'] + df1['num1'].astype(str) df2_notnull['type_num1'] = df2_notnull['type'] + df2_notnull['num1'].astype(str)
- 分别合并两部分
# 合并num1为空的部分:按type列 merge_null = pd.merge(df1, df2_null, on='type', how='left') # 合并num1非空的部分:按拼接后的type_num1列 merge_notnull = pd.merge(df1, df2_notnull, on='type_num1', how='left')
- 合并两个结果并清理冗余列
这里用pd.concat拼接,然后处理重复列和临时生成的type_num1:
# 拼接两个合并结果,重置索引 final_df = pd.concat([merge_null, merge_notnull], ignore_index=True) # 去重(避免同一行被两次合并匹配),保留第一次出现的记录 final_df = final_df.drop_duplicates(subset=['type', 'num1_x', 'value1'], keep='first') # 删除临时生成的拼接列 final_df = final_df.drop(columns=['type_num1']) # 重命名重复的num1和value2列(按需调整) final_df = final_df.rename(columns={'num1_x': 'num1', 'num1_y': 'df2_num1'})
关键注意点
- 处理拼接列时一定要统一数据类型,比如把num1转成字符串,不然数字和字符串拼接会报错
- 合并后要去重,因为部分行可能在两个合并结果中都出现(比如df1中num1为空的行,可能在merge_null和merge_notnull都有匹配)
- 合并方式用
left还是inner根据你的需求调整,示例用left保留df1所有行
内容的提问来源于stack exchange,提问作者Manglu
相关产品推荐
相关产品推荐

