pandas用Description映射填充NaN时报InvalidIndexError如何解决

错误原因 #

你遇到的InvalidIndexError本质是构造映射用的Seriess的索引（即Description列的值）存在重复条目，且重复的Description对应的Season值不一致。小数据集运行正常是因为你选取的子集里所有Description刚好都是唯一的，当数据集扩大后出现了重复Description，就触发了pandas的索引唯一性校验报错。你之前针对特殊字符的清理操作没有解决问题，是因为错误根源和特殊字符无关。

排查步骤 #

运行以下代码可直接定位触发错误的冲突行：

# 筛选所有出现次数≥2的Description值
dup_desc = df['Description'].value_counts()
dup_desc = dup_desc[dup_desc >= 2].index.tolist()

# 查看这些重复Description对应的非空Season值是否存在冲突
df[df['Description'].isin(dup_desc)][['Description', 'Season']].dropna().drop_duplicates()

输出结果里同一个Description对应多个不同Season的条目，就是导致报错的根源。

解决方案 #

根据你排查出的冲突情况选择对应方案即可：

方案1：冲突的Season值仅存在格式差异（空格、大小写等） #

先统一Season格式再构造映射：

# 统一Season格式：去除首尾空格、统一为小写
df['Season'] = df['Season'].str.strip().str.lower()
# 去重后构造唯一映射
s = df.dropna(subset=['Season']).drop_duplicates('Description').set_index('Description')['Season']
df['Season'] = df['Season'].fillna(df['Description'].map(s))

方案2：冲突的Season值确实不同，取出现频率最高的作为映射值 #

# 每个Description取出现次数最多的Season作为映射值
s = df.dropna(subset=['Season']).groupby('Description')['Season'].agg(lambda x: x.value_counts().index[0])
df['Season'] = df['Season'].fillna(df['Description'].map(s))

方案3：不处理冲突，直接取重复Description第一个出现的Season值 #

s = df.dropna(subset=['Season']).groupby('Description')['Season'].first()
df['Season'] = df['Season'].fillna(df['Description'].map(s))

内容的提问来源于stack exchange，提问作者JP_CA