Pandas按指定列merge两个DataFrame后其余列全为NaN是什么原因?
你使用的merge语法本身没有问题,出现右表字段全为NaN的核心原因是两个表的关联键Vorname、Nachname没有任何匹配成功的记录,这个逻辑和SQL左连接完全一致:左表记录全部保留,关联不上的右表字段自动填充NULL(对应Pandas里的NaN)。
你可以按以下顺序排查问题:
1. 清洗关联键的隐藏字符
绝大多数字符串匹配失败都是因为存在不可见字符,比如首尾空格、换行符、制表符,你可以先对两个表的两个关联字段做统一清洗,再执行merge:
# 清洗左表关联键 pdGruppenBachelor['Vorname'] = pdGruppenBachelor['Vorname'].str.strip() pdGruppenBachelor['Nachname'] = pdGruppenBachelor['Nachname'].str.strip() # 清洗右表关联键 pdBewertungen['Vorname'] = pdBewertungen['Vorname'].str.strip() pdBewertungen['Nachname'] = pdBewertungen['Nachname'].str.strip() # 重新执行合并 dfBA = pd.merge(pdGruppenBachelor, pdBewertungen, how='left', on=['Vorname','Nachname'])
2. 排查大小写/字符写法差异
如果是德语姓名,大概率会出现大小写、变音符号写法不一致的问题,比如一个表存Müller另一个存mueller、或者大小写不同的müller,你可以统一把两个字段转成相同大小写后再匹配:
# 统一转小写匹配,也可以转大写 pdGruppenBachelor['Vorname_match'] = pdGruppenBachelor['Vorname'].str.lower() pdGruppenBachelor['Nachname_match'] = pdGruppenBachelor['Nachname'].str.lower() pdBewertungen['Vorname_match'] = pdBewertungen['Vorname'].str.lower() pdBewertungen['Nachname_match'] = pdBewertungen['Nachname'].str.lower() dfBA = pd.merge(pdGruppenBachelor, pdBewertungen, how='left', on=['Vorname_match','Nachname_match'])
匹配完成后再把多余的*_match字段删掉即可。
3. 验证是否存在实际匹配的记录
你可以先执行内连接测试,如果内连接返回空表,就可以确认确实没有任何匹配的关联键:
# 内连接只返回两边都匹配的记录 df_inner_test = pd.merge(pdGruppenBachelor, pdBewertungen, how='inner', on=['Vorname','Nachname']) print(df_inner_test.shape)
如果返回的行数为0,就说明两个表的关联键没有重叠,你需要检查两个表的数据源是不是对应同一批学生、姓名录入规则是否一致。
内容的提问来源于stack exchange,提问作者user6346482
相关产品推荐
相关产品推荐

