如何查找Pandas中被删除的含NaN索引的行？

嘿，这个问题我之前也碰到过类似场景，刚好可以给你一套清晰的方案来定位这些被删的行，以及排查它们进入DataFrame的根源：

一、如果还没永久删除（或有原始数据备份）：定位问题行 #

首先，你需要从原始数据里找出那些索引（MultiIndex任意层级）包含NaN的行，具体操作如下：

1. 快速确认MultiIndex中是否存在NaN
   用一行代码就能判断：

   print(df.index.hasnans)  # 返回True说明确实存在NaN索引
   

2. 精准定位问题行
   把MultiIndex转换成普通列，这样更容易筛选出含NaN的行：

   # 将MultiIndex拆解为单独的列
   index_details = df.index.to_frame(index=False)
   # 筛选出至少一个索引层级为NaN的行
   nan_index_mask = index_details.isna().any(axis=1)
   # 提取原DataFrame中对应的问题行
   deleted_rows = df[nan_index_mask]
   

   运行完后，deleted_rows就是你之前删除的10条数据，直接查看就能看到它们的完整内容。

二、如果已经删除且没有备份：回溯找回 #

如果已经删除并覆盖了原DataFrame，那只能从原始数据源（比如你最初读取的CSV/Excel、数据库表等）重新加载一份数据，再用上面的方法定位问题行。

三、排查这些行进入DataFrame的原因 #

找到问题行后，你可以从这几个方向排查根源：

• 检查原始数据源：看看数据源中对应索引列的单元格是不是有空值、空格、或者特殊字符（比如换行符），这些都可能被Pandas解析成NaN。
• 检查索引设置逻辑：如果你是通过set_index()或者pd.MultiIndex.from_arrays()创建的多级索引，看看有没有提前处理空值？比如是不是应该先过滤掉含NaN的行再设置索引？
• 检查数据预处理步骤：有没有在合并（merge()）、拼接（concat()）或者筛选数据时，导致索引列出现缺失？比如合并两个表时，关联列不匹配，会导致部分行的索引值变成NaN。

四、提前预防的小技巧 #

为了避免以后再碰到这个问题，可以在设置MultiIndex前先做检查：

# 假设你要用col1和col2作为多级索引
index_cols = ["col1", "col2"]
# 统计每个索引列的NaN数量
print(df[index_cols].isna().sum())
# 提前定位问题行并处理
problem_rows = df[df[index_cols].isna().any(axis=1)]
# 可以选择删除或者填充这些行
df_clean = df.drop(problem_rows.index)
# 再设置多级索引
df_clean = df_clean.set_index(index_cols)

内容的提问来源于stack exchange，提问作者stevendesu