使用pandas merge按双列键合并DataFrame时部分行返回NaN的问题咨询
合并结果出现NaN的排查与解决
核心原因
合并时的键值存在隐形的前后空格差异,并非pd.merge逻辑错误。
从你提供的两个DataFrame的源文本排版可以观察到:df2的Ccy_Gp1、Ccy_Gp2列不同行的单元格附带了数量不等的前后冗余空格,读入pandas后这些空格会成为字符串值的一部分,和df1里不带多余空格的分组值无法完全匹配,最终导致匹配失效返回NaN。
匹配失效的典型案例:
- df1第1行的键值组合
('Category 2', 'Category 1'),本应匹配df2中同组合的14亿阈值,但因单元格带空格无法匹配 - df1第3行的键值组合
('Category 1', 'Category 3'),本应匹配df2中同组合的6.4亿阈值,同样因空格问题匹配失败
空格问题验证方法
运行以下代码,打印键值的原生字符串表示,可直接看到隐形空格:
key_cols = ['Ccy_Gp1','Ccy_Gp2'] print("df1键值实际存储内容:") for a,b in df1[key_cols].itertuples(index=False): print(repr(a), repr(b)) print("\ndf2键值实际存储内容:") for a,b in df2[key_cols].itertuples(index=False): print(repr(a), repr(b))
如果输出的字符串前后带有引号包裹的空格(比如'Category 2 '、' Category 1'),即可确认是空格导致的匹配失效。
修复步骤
合并前先对两个表的键列做字符串去前后空格处理,再执行合并即可:
# 去除两个表键列的所有前后冗余空格 key_cols = ['Ccy_Gp1','Ccy_Gp2'] df1[key_cols] = df1[key_cols].apply(lambda col: col.str.strip()) df2[key_cols] = df2[key_cols].apply(lambda col: col.str.strip()) # 重新执行左连接合并 df = pd.merge(df1, df2, on=key_cols, how='left')
处理完成后,原本返回NaN的两行会正常匹配到对应阈值,合并结果符合预期。
内容的提问来源于stack exchange,提问作者user15253500
相关产品推荐
相关产品推荐

