循环映射Pandas Series非数值值报InvalidIndexError问题排查

这个错误和DataFrame重名列没有关系，触发点在你构造的映射字典存在重复键：

• 你用原生set(series)提取Series唯一值的逻辑存在缺陷：当object类型列中存在相等判定/哈希值冲突的值时（比如布尔值True和整数1、False和整数0，或是不同类型但值相等的混合类型元素、不同来源的NaN值），会导致生成的mapping_dict出现隐式的键重复。pandas在执行map时会自动把传入的字典转成索引为字典键、值为映射值的Series，重复的键会直接生成重复索引，最终触发索引不唯一的报错。
• 额外逻辑问题：set(series)会把NaN也纳入集合生成映射键，和你预留0填充NaN的设计冲突，会导致NaN被错误映射为非0值。
• 你代码里对映射后Series做的重命名操作，作用在返回的新Series上，和触发报错的映射字典键重复问题完全无关，自然无法解决报错。

替换原有mapper实现，用pandas原生方法做去重和映射，同时修正循环逻辑：

import numpy as np
import pandas as pd

def mapper(series):
    # 先剔除NaN再取唯一值，从根源避免NaN进入映射字典
    unique_valid_vals = series.dropna().unique()
    # 从1开始编号生成映射，0预留给NaN
    mapping = {val: idx + 1 for idx, val in enumerate(unique_valid_vals)}
    # 执行映射后将NaN填充为0，直接转成整数类型
    mapped_res = series.map(mapping).fillna(0).astype("int64")
    mapped_res.name = f"{series.name}_mapped"
    return mapped_res

# 提前固定要处理的列名列表，不要直接迭代DataFrame的列对象，避免循环中修改df导致迭代异常
cols_to_process = ["Employee_Id", "Payroll_Id"] # 替换为你需要转数值的16列列名
for col in cols_to_process:
    df[f"{col}_mapped"] = mapper(df[col])

• 处理pandas的object类型列时，不要用Python原生set做去重，优先用Series自带的.unique()方法，它会严格按照pandas内部存储的类型和值做去重，避免原生类型哈希冲突导致的异常。
• 循环处理DataFrame列时，尽量提前固定要处理的列名列表，通过列名索引取列、赋值列，不要直接迭代df对象或者df的列视图，避免修改df时触发迭代器异常。
• 如果不需要保留原始object列，可以直接把映射结果赋值给原列名，不用新增带_mapped后缀的列。

内容的提问来源于stack exchange，提问作者Matt K