You need to enable JavaScript to run this app. Pandas按Date合并多CSV 列重命名后merge出现全NaN问题
优惠活动
大模型
产品
解决方案
定价
更多

Pandas按Date合并多CSV 列重命名后merge出现全NaN问题

问题根因

你当前按位置给df1.columns赋值列表的写法,隐含了两个默认前提:

  • 每份CSV的列顺序完全和你写的['Date', 'Open', 'High', 'Low', 'Close', 'Adj Close', 'Volume']一致
  • 每份CSV的列数刚好是7,没有多余空列或者缺失列
    只要其中一个前提不成立,就会出现列名和实际内容错配:比如原始CSV的Adj Close和Volume顺序颠倒,硬赋值后原本存复权收盘价的列会被命名为XXX Volume,原本存成交量的列会被命名为XXX Adj Close;如果Date不在第一列,用来merge的Date列甚至会是行情数据,自然和主表的日期列匹配不上,最终所有新增列全是NaN。
    你手动修改CSV列名时是逐列对着内容修改,不会出现这种错配,所以合并流程正常。
修复方案
  • 不要按位置硬套列名,改用rename方法基于原始列名做映射,不管列顺序怎么变都能对应正确
  • 统一把Date列转成datetime类型,避免不同格式的日期匹配失败
  • 给初始读入的GE.csv也统一加前缀,和其他股票的列名风格保持一致
修复后的代码
import pandas as pd
import glob
import os

# 处理主表GE.csv
master_df = pd.read_csv("GE.csv")
# 统一日期类型,避免格式差异导致匹配失败
master_df['Date'] = pd.to_datetime(master_df['Date'])
# 基于原始列名映射新名称,无需关注列顺序
master_df = master_df.rename(columns={
    'Open': 'GE Open',
    'High': 'GE High',
    'Low': 'GE Low',
    'Close': 'GE Close',
    'Adj Close': 'GE Adj Close',
    'Volume': 'GE Volume'
})

for csv_path in glob.glob('Output/*.csv'):
    df_sub = pd.read_csv(csv_path)
    # 提取当前文件对应的股票代码
    ticker = os.path.basename(csv_path).split(".")[0]
    # 清洗列名多余的前后空格(原始列名带空格时需要加这步)
    df_sub.columns = df_sub.columns.str.strip()
    # 统一日期类型
    df_sub['Date'] = pd.to_datetime(df_sub['Date'])
    # 按原始列名映射新前缀,不会出现内容错配
    df_sub = df_sub.rename(columns={
        'Open': f'{ticker} Open',
        'High': f'{ticker} High',
        'Low': f'{ticker} Low',
        'Close': f'{ticker} Close',
        'Adj Close': f'{ticker} Adj Close',
        'Volume': f'{ticker} Volume'
    })
    # 按日期左合并
    master_df = master_df.merge(df_sub, on='Date', how='left')

# 导出前把日期转回常规字符串格式(可选)
master_df['Date'] = master_df['Date'].dt.strftime('%Y-%m-%d')
master_df.to_csv('merged.csv', index=False)
print(master_df)
额外排查项

如果改完仍有NaN,可以先打印单个df_sub的列名和前几行Date内容,确认原始CSV的列名有没有隐藏的不可见字符、Date列是不是存在缺失值,这些问题也会导致匹配失败。

内容的提问来源于stack exchange,提问作者yf879

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 06:36:03