传递Pandas DataFrame至函数执行映射替换时遇索引错误，求解决方法

问题场景 #

我尝试将不同的Pandas DataFrame传入函数，基于CSV存储的映射表对指定列执行字符串替换（含正则替换），返回修改后的DataFrame，但处理时触发错误。

CSV映射表结构：

我的代码：

def apply_mapping_table (p_df, p_df_col_name, p_mt_name):

    df_mt = pd.read_csv(p_mt_name)

    for index in range(df_mt.shape[0]):
        # If regex is true
        if df_mt.iloc[index][2] is True:
         # perform regex replacing
            df_p[p_df_col_name] = df_p[p_df_col_name].replace(to_replace=df_mt.iloc[index][0], value = df_mt.iloc[index][1], regex=True)
        else:
            # perform normal string replacing
            p_df[p_df_col_name] = p_df[p_df_col_name].replace(df_mt.iloc[index][0], df_mt.iloc[index][1])

    return df_p

df_new1 = apply_mapping_table1(df_old1, 'Target_Column1', 'MappingTable1.csv')
df_new2 = apply_mapping_table2(df_old2, 'Target_Column2', 'MappingTable2.csv')

触发错误：IndexError: single positional indexer is out-of-bounds，出错位置在df_mt.iloc[index][2]。

错误原因及修复方案 #

1. 直接触发错误的原因 #

df_mt.iloc[index][2]通过位置索引访问第三列，存在两个问题：

• 若CSV读取时表头识别异常，或列顺序被修改，会直接导致索引越界；
• 映射表中Regex列的空值会被Pandas解析为NaN，用is True判断逻辑完全不成立。

2. 代码中的其他隐性错误 #

• 变量名混淆：函数参数是p_df，但代码中错误使用了未定义的df_p，后续会触发NameError；
• 函数调用错误：定义的函数名是apply_mapping_table，但调用时写了apply_mapping_table1/apply_mapping_table2，会触发NameError。

3. 修复后的可运行代码 #

import pandas as pd

def apply_mapping_table(p_df, p_df_col_name, p_mt_name):
    # 读取映射表，保留原始列名
    df_mt = pd.read_csv(p_mt_name)
    # 复制输入DataFrame，避免修改原数据（可选，根据需求调整）
    df_processed = p_df.copy()
    
    # 用iterrows遍历行，可读性更强
    for _, row in df_mt.iterrows():
        from_str = row['From(Str)']
        to_str = row['To(Str)']
        # 处理空值，默认按非正则替换
        is_regex = row['Regex(True/False)'] is True
        
        if is_regex:
            df_processed[p_df_col_name] = df_processed[p_df_col_name].replace(
                to_replace=from_str, 
                value=to_str, 
                regex=True
            )
        else:
            df_processed[p_df_col_name] = df_processed[p_df_col_name].replace(
                to_replace=from_str, 
                value=to_str,
                regex=False  # 显式指定非正则，避免默认行为歧义
            )
    
    return df_processed

# 修正函数调用名称
df_new1 = apply_mapping_table(df_old1, 'Target_Column1', 'MappingTable1.csv')
df_new2 = apply_mapping_table(df_old2, 'Target_Column2', 'MappingTable2.csv')

更优实现方式（避免逐行循环） #

Pandas逐行循环效率较低，可将正则与非正则映射拆分，用批量替换提升性能：

import pandas as pd

def apply_mapping_table_optimized(p_df, p_df_col_name, p_mt_name):
    df_mt = pd.read_csv(p_mt_name)
    df_processed = p_df.copy()
    
    # 拆分正则与非正则映射，转为字典格式
    regex_mappings = df_mt[df_mt['Regex(True/False)'] == True].set_index('From(Str)')['To(Str)'].to_dict()
    normal_mappings = df_mt[df_mt['Regex(True/False)'] != True].set_index('From(Str)')['To(Str)'].to_dict()
    
    # 先执行非正则替换（避免正则匹配干扰普通字符串）
    if normal_mappings:
        df_processed[p_df_col_name] = df_processed[p_df_col_name].replace(normal_mappings, regex=False)
    
    # 再执行正则替换
    if regex_mappings:
        df_processed[p_df_col_name] = df_processed[p_df_col_name].replace(regex_mappings, regex=True)
    
    return df_processed

优化点说明 #

• 用to_dict()将映射转为字典，一次调用replace完成批量替换，比逐行循环效率提升明显；
• 先执行非正则替换，避免正则表达式误匹配普通字符串；
• 显式判断映射是否为空，避免空字典导致的无效操作。

内容的提问来源于stack exchange，提问作者Curious