Python Excel列名标准化代码仅部分生效，如何排查修复？

1. 排查映射字典的匹配精度问题 #

• 核心原因：列名常存在大小写不一致、空格/特殊字符差异（比如Drivers License No和drivers_license_no）、前后冗余空格，导致字典键无法精准匹配。
• 解决步骤：
  1. 先统一列名格式，再匹配映射：

     def standardize_raw_col(col):
         # 转小写+替换空格/连字符为下划线+去除前后空格
         return col.strip().lower().replace(' ', '_').replace('-', '_')
     
     # 读取数据后先预处理所有列名
     df.columns = [standardize_raw_col(col) for col in df.columns]
     

  2. 确保映射字典的键是预处理后的标准格式，比如把驾照编号对应的键设为drivers_license_no。

2. 修正重命名函数的逻辑 #

• 核心原因：自定义函数可能只处理了字典中存在的列，未遍历所有列或未处理无匹配的列。
• 解决方式：
  • 直接用Pandas内置的rename方法，确保全量匹配：

    consu_mapping = {
        'drivers_license_no': '驾照编号',
        'full_name': '姓名',
        # 其他映射关系
    }
    
    # 预处理列名后执行重命名
    df.columns = [standardize_raw_col(col) for col in df.columns]
    df = df.rename(columns=consu_mapping)
    

  • 自定义函数时，要覆盖所有列，无匹配项可标记或保留标准化后的原名：

    def batch_rename_columns(df, mapping):
        new_cols = []
        for col in df.columns:
            std_col = standardize_raw_col(col)
            # 有映射就替换，无映射则用标准化后的列名
            new_cols.append(mapping.get(std_col, std_col))
        df.columns = new_cols
        return df
    

3. 处理列名的变体形式 #

• 核心原因：同一含义的列名可能有多种写法（比如driver_license、dl_number、drivers_licence都指向驾照编号），映射字典未覆盖所有变体。
• 解决方式：
  1. 扩展映射字典，包含所有可能的列名变体：

     consu_mapping = {
         'drivers_license_no': '驾照编号',
         'driver_license': '驾照编号',
         'dl_number': '驾照编号',
         'drivers_licence': '驾照编号',
         # 其他映射
     }
     

  2. 用模糊匹配处理相似列名（需先安装依赖：pip install fuzzywuzzy python-Levenshtein）：

     from fuzzywuzzy import process
     
     def fuzzy_rename(df, mapping, match_threshold=80):
         std_mapping = {standardize_raw_col(k): v for k, v in mapping.items()}
         new_cols = []
         for col in df.columns:
             std_col = standardize_raw_col(col)
             # 查找最相似的映射键
             best_match, score = process.extractOne(std_col, std_mapping.keys())
             if score >= match_threshold:
                 new_cols.append(std_mapping[best_match])
             else:
                 new_cols.append(f"未标准化_{std_col}")  # 标记未匹配列
         df.columns = new_cols
         return df
     

4. 验证Excel读取环节的列名准确性 #

• 核心原因：读取Excel时可能因表头在多行、合并单元格等问题，导致读取的列名与实际不符。
• 解决步骤：
  1. 指定正确的表头行读取数据：

     import pandas as pd
     # 假设表头在第2行（索引从0开始计数）
     df = pd.read_excel('target_file.xlsx', header=1)
     

  2. 读取后立即打印列名，确认是否与预期一致：

     print("原始读取列名：", df.columns.tolist())
     

内容的提问来源于stack exchange，提问作者Favour Olusanya