如何检测导入Excel到Pandas DataFrame时的重复列名？

要规避Pandas自动重命名重复列名导致无法检测原始重复的问题，核心思路是在导入DataFrame之前先读取并检查原始列名，以下是两种可行方法：

方法一：使用openpyxl直接读取原始列名 #

通过openpyxl库读取Excel文件的列名行（默认第一行），直接获取原始列名后检查重复：

from openpyxl import load_workbook

def validate_excel_columns(file_path, sheet_name=0):
    # 只读模式加载工作簿，提升性能
    wb = load_workbook(file_path, read_only=True)
    
    # 定位目标工作表
    if isinstance(sheet_name, int):
        sheet = wb.worksheets[sheet_name]
    else:
        sheet = wb[sheet_name]
    
    # 读取第一行的所有单元格值作为原始列名
    original_columns = [cell.value for cell in next(sheet.iter_rows(min_row=1, max_row=1))]
    
    # 检测重复列名
    seen_columns = set()
    duplicate_columns = set()
    for col_name in original_columns:
        if col_name in seen_columns:
            duplicate_columns.add(col_name)
        seen_columns.add(col_name)
    
    wb.close()
    
    if duplicate_columns:
        raise ValueError(f"发现重复列名: {', '.join(duplicate_columns)}")

# 使用示例
validate_excel_columns("your_data.xlsx")
# 确认无重复后再导入DataFrame
df = pd.read_excel("your_data.xlsx")

方法二：通过Pandas读取原始数据后提取列名检查 #

如果不想额外安装openpyxl，可以用Pandas先读取全部数据（不设置表头），提取原始列名检查后再构建DataFrame：

import pandas as pd

def validate_and_read_excel(file_path, header_row=0):
    # 读取全部数据，不指定表头
    raw_df = pd.read_excel(file_path, header=None)
    
    # 提取原始列名（指定行）
    original_columns = raw_df.iloc[header_row].tolist()
    
    # 检测重复列名
    seen_columns = set()
    duplicate_columns = set()
    for col_name in original_columns:
        if col_name in seen_columns:
            duplicate_columns.add(col_name)
        seen_columns.add(col_name)
    
    if duplicate_columns:
        raise ValueError(f"发现重复列名: {', '.join(duplicate_columns)}")
    
    # 构建最终DataFrame：跳过表头行，设置列名
    df = raw_df.drop(header_row).rename(columns=dict(enumerate(original_columns)))
    df.reset_index(drop=True, inplace=True)
    return df

# 使用示例
df = validate_and_read_excel("your_data.xlsx")

关键说明 #

• 两种方法都直接获取Excel中的原始列名，完全规避了Pandas自动添加.digit后缀的干扰。
• 如果你的列名不在第一行，只需调整min_row（方法一）或header_row（方法二）参数即可。

内容的提问来源于stack exchange，提问作者Mykhailo Yurchenko