使用Pandas合并数千个Excel文件时遭遇InvalidIndexError错误求助

我看了你遇到的合并Excel文件的问题，碰到pandas.errors.InvalidIndexError这个报错，大概率是因为处理后的DataFrame存在重复列名或者索引不唯一导致的。结合你的代码逻辑，我帮你梳理下问题点和解决方案：

问题分析 #

1. 计数器未初始化：你代码里的counter变量没有在循环每个文件前重置为0，第一次循环后它会持续累加，后续处理其他文件时会触发索引越界，甚至生成重复列名。
2. 列名重复隐患：执行df2.columns = df2.iloc[0]时，如果第13行（数据的表头行）存在重复列名，会导致df2的列索引不唯一，pd.concat时就会抛出这个错误。
3. 低效的列添加逻辑：用循环逐个给df2添加列不仅效率低，还容易因为循环逻辑失误导致列名重复或数据错位。

优化后的解决方案 #

我调整了你的代码，解决了上述问题，同时完整保留你的需求：

import pandas as pd

dfs = []
for file in files:
    # 读取整个Excel文件
    df = pd.read_excel(file)
    # 提取前12行的元数据
    df_meta = df.iloc[:12]
    # 注意：Python索引从0开始，第13行对应索引12，所以提取从第13行开始的数据
    df_data = df.iloc[12:]
    
    # 设置数据部分的列名为表头行（原第13行）
    df_data.columns = df_data.iloc[0]
    # 移除表头行，保留实际数据并重置索引
    df_data = df_data.iloc[1:].reset_index(drop=True)
    
    # 自动处理重复列名，给重复项添加后缀保证索引唯一
    df_data.columns = pd.io.parsers.base_parser.ParserBase({'usecols': None})._maybe_dedup_names(df_data.columns)
    
    # 把前12行的元数据整理成字典：Unnamed:1作为列名，Unnamed:2作为对应值
    meta_dict = dict(zip(df_meta['Unnamed: 1'].dropna(), df_meta['Unnamed: 2'].dropna()))
    # 批量给数据添加元数据列，每一行都填充对应值
    for col_name, col_value in meta_dict.items():
        df_data[str(col_name)] = str(col_value)
    
    dfs.append(df_data)

# 合并所有DataFrame，outer join保证所有列都被保留，缺失值自动填空
final_df = pd.concat(dfs, ignore_index=True, axis=0, join='outer')

关键修改点说明 #

• 修正数据起始行：之前的iloc[13:]会漏掉第13行的表头，改成iloc[12:]才是正确提取第13行及以后的数据。
• 自动去重列名：用_maybe_dedup_names方法给重复列名自动添加后缀（比如"列名"、"列名.1"），从根源避免索引不唯一的问题。
• 元数据处理优化：用zip把前12行的两列转成字典，批量添加列既高效又避免了计数器的逻辑漏洞，同时用dropna()跳过空的元数据项。
• 明确join参数：显式写出join='outer'更清晰，确保所有文件的列都被保留，缺失的列自动填充NaN。

额外性能建议 #

如果你的Excel文件体积较大，建议拆分读取元数据和数据部分，能节省内存提升效率：

# 直接读取第13行及以后的数据，同时设置表头为第13行
df_data = pd.read_excel(file, skiprows=12, header=0)
# 单独读取前12行的元数据
df_meta = pd.read_excel(file, nrows=12)

内容的提问来源于stack exchange，提问作者ocaka