pandas读取多级表头CSV时MultiIndex列重复报错解决方案

你的处理逻辑思路是正确的，问题出在自定义循环的笔误：else分支中你虽然构造了替换后的顶级表头元组，但实际追加到列表里的还是原始带Unnamed的列元组，导致处理逻辑没有生效。

方法1：修正自定义循环逻辑 #

把else分支的追加对象替换为你构造的新元组即可：

import pandas as pd

df = pd.read_csv("file.csv", header=[0, 1])
tups = []
current_top = None

for col in df.columns:
    top, sub = col
    if not str(top).startswith("Unnamed"):
        current_top = top
    # 追加替换顶级表头后的新元组，不要用原始col
    tups.append((current_top, sub))

df.columns = pd.MultiIndex.from_tuples(tups, names=["Vals", "Rows"])

方法2：更简洁的pandas原生向前填充方案 #

不需要手写循环，利用pandas的向前填充ffill方法即可自动完成空表头的左侧值继承，这也是处理这类合并单元格式多级表头的通用方案：

import pandas as pd

df = pd.read_csv("file.csv", header=[0, 1])
# 将多级列索引转为DataFrame格式
col_frame = df.columns.to_frame()
# 把所有Unnamed开头的顶级表头替换为空值
col_frame.iloc[:, 0] = col_frame.iloc[:, 0].where(
    ~col_frame.iloc[:, 0].str.startswith("Unnamed"),
    pd.NA
)
# 向前填充空值，自动继承左侧相邻的顶级表头
col_frame = col_frame.ffill()
# 重新构造多级列索引
df.columns = pd.MultiIndex.from_frame(col_frame, names=["Vals", "Rows"])

处理完成后得到的列结构完全符合预期：

Vals  Val1      Val2                Val3      Val4
Rows  Row1 Row2 Row3 Row4 Row5      Row6 Row7 Row8
0     1    2    3    4    5         6    7    8

此时调用df['Val1']会正常返回包含Row1、Row2两列的子数据集，不会触发索引错误。

说明：目前pandas的read_csv没有提供直接参数可以在读取阶段自动完成这类跨列表头的继承填充，上述两种方案均为这类场景的标准处理方式，其中向前填充的方案代码更简洁，也避免了手写循环容易出现的笔误问题。

内容的提问来源于stack exchange，提问作者Schach21