Pandas DataFrame如何选取多数据集里位置不固定的Total列

• 现有多个不同规模的数据集，需要提取Values分类下的Total列（图中红色标注部分）用于计算
• 该列在不同数据集中的位置不固定，无法使用df.iloc[5:6, 1:2]这类固定位置索引的写法实现
  

不要硬编码行列位置，根据列名、表头内容特征动态匹配即可，覆盖两类常见数据格式场景：

场景1：读入的DataFrame为多级列索引 #

如果表格本身是双层表头，pandas读入后自动生成了MultiIndex格式的列，直接按层级名称索引即可，完全不受列位置变动影响：

# 基础写法：指定两层列名直接提取目标列
total_series = df[("Values", "Total")]

如果不同数据集的列名存在前后空格、大小写不统一的问题，可以先做列名标准化再匹配，避免匹配失败：

# 清洗列名：去除前后空格、统一转小写
df.columns = df.columns.map(
    lambda col_tuple: (str(col_tuple[0]).strip().lower(), str(col_tuple[1]).strip().lower())
)
total_series = df[("values", "total")]

场景2：表格带合并单元格，Values为单独行的分类标题 #

如果原始文件中Values是合并单元格的分类行，读入后没有生成多级表头，先动态定位目标列位置再提取数据：

import pandas as pd

# 在前10行范围内定位Values所在行（表头通常在表格前几行，无需遍历全表）
values_row = df[df.iloc[:10].isin(["Values"]).any(axis=1)].index[0]
# 从Values所在行定位Total对应的列索引
total_col = df.loc[values_row][df.loc[values_row] == "Total"].index[0]
# 提取表头以下的有效数据
total_data = df.iloc[values_row+1:, total_col].reset_index(drop=True)

通用兼容写法 #

如果不确定不同数据集的表头格式，可以封装通用函数自动适配两种场景，无需逐表调整代码：

def extract_total_col(df, cate_name="Values", target_col_name="Total"):
    # 处理多级列索引场景
    if isinstance(df.columns, pd.MultiIndex):
        for col in df.columns:
            level1, level2 = str(col[0]).strip(), str(col[1]).strip()
            if level1 == cate_name and level2 == target_col_name:
                return df[col]
    # 处理合并单元格单级表头场景
    for row_idx in range(min(10, len(df))):
        current_row = df.iloc[row_idx].astype(str).str.strip()
        if cate_name not in current_row.values:
            continue
        cate_col_pos = current_row[current_row == cate_name].index[0]
        search_part = current_row.loc[cate_col_pos:]
        if target_col_name in search_part.values:
            target_pos = search_part[search_part == target_col_name].index[0]
            return df.iloc[row_idx+1:, target_pos].reset_index(drop=True)
    raise ValueError("未找到Values分类下的Total列，请检查数据格式")

# 直接调用即可拿到目标列，无需关心列位置
total_col = extract_total_col(df)

内容的提问来源于stack exchange，提问作者Weiss