Pandas合并单列DataFrame时出现大量NaN值的解决咨询
索引错位是导致合并出大量NaN的核心原因
从你贴的异常输出就能直接定位核心问题:
- 两个DataFrame的当前索引完全没有重叠:Volume列的行索引是3、5、7,Price列的行索引是4、6,两边索引没有任何匹配值。
- Pandas 所有横向合并操作(不管是
pd.concat(axis=1)、pd.join还是默认参数下的pd.merge),匹配行的核心逻辑都是按索引值对齐。索引对不上的位置自然填充NaN,这也是你换了三种方法都没解决的根本原因——你试的这几个方法在默认参数下的匹配逻辑是完全一致的。 - 你写的拼接代码还存在变量名和列顺序不匹配的小问题:实际df1存的是Price列数据,df2存的是Volume列数据,传参顺序错了只会打乱列顺序,解决不了索引错位的核心问题。
对应场景的最优修复方案
场景1:你需要按原始行顺序逐行对齐合并(没有共同键列,只是把两列拼到同一张表)
这是你当前输入结构对应的最常见场景,最简洁无冗余的实现是先重置两个DataFrame的索引为从0开始的连续整数,再做横向拼接:
# drop=True参数表示直接丢弃原来的错位索引,不把旧索引保留为新列 df1_clean = df1.reset_index(drop=True) df2_clean = df2.reset_index(drop=True) # 此时两个df的索引完全对齐,拼接后不会产生多余NaN new_df = pd.concat([df1_clean, df2_clean], axis=1)
最终得到的整洁结果为:
Price volume 0 20 200 1 12 50 2 43 10 3 45 5
场景2:你需要按真实业务键值(比如资产ID、交易日期)匹配合并
如果两个DataFrame实际有共同的业务匹配字段,不要依赖索引匹配,给merge指定明确的连接键即可:
# how='inner'表示只保留两边键值能匹配上的行 new_df = pd.merge( df1, df2, left_on="df1中用来匹配的键列名", right_on="df2中用来匹配的键列名", how="inner" )
避坑提醒:不要为了快速消NaN就随意用
fillna填充或者大规模dropna删除行,这类操作会误删真实存在的有效空值,完全没有解决索引错位的核心问题,属于治标不治本。
内容的提问来源于stack exchange,提问作者Samuel Lawrence
相关产品推荐
相关产品推荐

