Pandas按Date合并多CSV 列重命名后merge出现全NaN问题
问题根因
你当前按位置给df1.columns赋值列表的写法,隐含了两个默认前提:
- 每份CSV的列顺序完全和你写的
['Date', 'Open', 'High', 'Low', 'Close', 'Adj Close', 'Volume']一致 - 每份CSV的列数刚好是7,没有多余空列或者缺失列
只要其中一个前提不成立,就会出现列名和实际内容错配:比如原始CSV的Adj Close和Volume顺序颠倒,硬赋值后原本存复权收盘价的列会被命名为XXX Volume,原本存成交量的列会被命名为XXX Adj Close;如果Date不在第一列,用来merge的Date列甚至会是行情数据,自然和主表的日期列匹配不上,最终所有新增列全是NaN。
你手动修改CSV列名时是逐列对着内容修改,不会出现这种错配,所以合并流程正常。
修复方案
- 不要按位置硬套列名,改用
rename方法基于原始列名做映射,不管列顺序怎么变都能对应正确 - 统一把Date列转成
datetime类型,避免不同格式的日期匹配失败 - 给初始读入的GE.csv也统一加前缀,和其他股票的列名风格保持一致
修复后的代码
import pandas as pd import glob import os # 处理主表GE.csv master_df = pd.read_csv("GE.csv") # 统一日期类型,避免格式差异导致匹配失败 master_df['Date'] = pd.to_datetime(master_df['Date']) # 基于原始列名映射新名称,无需关注列顺序 master_df = master_df.rename(columns={ 'Open': 'GE Open', 'High': 'GE High', 'Low': 'GE Low', 'Close': 'GE Close', 'Adj Close': 'GE Adj Close', 'Volume': 'GE Volume' }) for csv_path in glob.glob('Output/*.csv'): df_sub = pd.read_csv(csv_path) # 提取当前文件对应的股票代码 ticker = os.path.basename(csv_path).split(".")[0] # 清洗列名多余的前后空格(原始列名带空格时需要加这步) df_sub.columns = df_sub.columns.str.strip() # 统一日期类型 df_sub['Date'] = pd.to_datetime(df_sub['Date']) # 按原始列名映射新前缀,不会出现内容错配 df_sub = df_sub.rename(columns={ 'Open': f'{ticker} Open', 'High': f'{ticker} High', 'Low': f'{ticker} Low', 'Close': f'{ticker} Close', 'Adj Close': f'{ticker} Adj Close', 'Volume': f'{ticker} Volume' }) # 按日期左合并 master_df = master_df.merge(df_sub, on='Date', how='left') # 导出前把日期转回常规字符串格式(可选) master_df['Date'] = master_df['Date'].dt.strftime('%Y-%m-%d') master_df.to_csv('merged.csv', index=False) print(master_df)
额外排查项
如果改完仍有NaN,可以先打印单个df_sub的列名和前几行Date内容,确认原始CSV的列名有没有隐藏的不可见字符、Date列是不是存在缺失值,这些问题也会导致匹配失败。
内容的提问来源于stack exchange,提问作者yf879
相关产品推荐
相关产品推荐

