合并含重复列名的DataFrame时触发InvalidIndexError求助

错误原因 #

你的代码在大数据集上报错，核心原因是原DataFrame存在重复的Unnamed类列名，导致在concat或pivot_table操作中，pandas无法处理非唯一的索引对象，触发InvalidIndexError。

解决方案 #

先给所有列分配临时唯一名称，再按原逻辑分组处理，就能避免重复列名的干扰：

import pandas as pd

# 步骤1：给重复列名添加唯一后缀，消除列名重复问题
df2.columns = pd.io.parsers.base_parser.ParserBase({'usecols': None})._maybe_dedup_names(df2.columns)

# 步骤2：处理奇数列的情况（631列是奇数，跳过最后一列）
total_cols = len(df2.columns)
# 只取能组成成对的列（日期列+X列）
pair_cols = df2.columns[:total_cols - (total_cols % 2)]

# 步骤3：分组提取每一对日期列和X列，构造子DataFrame
dfs = []
for date_col, x_col in zip(pair_cols[::2], pair_cols[1::2]):
    # 提取当前组的两列，统一日期列名为"date"
    temp_df = df2[[date_col, x_col]].rename(columns={date_col: 'date'})
    dfs.append(temp_df)

# 步骤4：合并所有子DataFrame
combined_df = pd.concat(dfs, ignore_index=True)

# 步骤5：透视成目标结构，缺失值自动填充为NaN
res_df = combined_df.pivot_table(index='date', aggfunc='first')

补充说明 #

• _maybe_dedup_names是pandas内部工具函数，会自动给重复列名添加_1、_2这样的后缀，快速实现列名唯一化。
• aggfunc='first'用于处理同一日期对应多个X值的情况，若你需要其他聚合逻辑（比如取均值），可替换为'mean'、'max'等。
• 透视操作后，未匹配到的日期-X组合会自动填充为NaN，符合你的需求。

内容的提问来源于stack exchange，提问作者Jacques Tebeka