pandas删除DataFrame空单元格时如何保持问答数据对应关系

你之前使用的df2.apply(lambda x: pd.Series(x.dropna().values))逻辑是逐列独立丢弃空值，每列的非空值会自动从列的起始位置重新排列，完全不保留行与行之间的匹配关系，只要某一列存在空值，就会导致后续所有行的问答对应关系错位，完全不适用于问答类存在强行列匹配要求的数据集。

根据非结构化Excel导入后的常见空值场景，直接选择对应方法处理即可，全程不会破坏问答匹配关系。

• 场景1：无效行是缺问题/缺答案的残缺行
  这类场景是问答数据集最常见的情况，只要某行的问题列、答案列任意一个为空，该行就没有使用价值，直接删除整行即可：

  # 将subset里的列名替换为你数据集实际的问题列、答案列名
  valid_df = df2.dropna(
      subset=['问题列名', '答案列名'],
      how='any'  # 指定列只要有一个空值就删除该行
  ).reset_index(drop=True)  # 重排行索引，丢弃原无效索引
  

• 场景2：空值都是Excel里的整行空白行，有效行的问答列无缺失
  这种情况不需要指定校验列，直接删除全为空的行即可：

  valid_df = df2.dropna(
      how='all'  # 所有列全为空才删除该行
  ).reset_index(drop=True)
  

• 场景3：空值来自Excel合并单元格自动填充的NaN
  非结构化Excel经常用合并单元格排版，导入pandas后只有合并区域的第一行会有值，其余合并位置都是NaN，这种情况要先补全合并单元格的空值，再删无效行：

  # 向前填充合并单元格产生的空值，把第一行的内容补到同合并区域的所有空位置
  filled_df = df2.fillna(method='ffill')
  # 补全后再按场景1的逻辑删除残缺行
  valid_df = filled_df.dropna(subset=['问题列名', '答案列名'], how='any').reset_index(drop=True)
  

避坑提示：不要对存在行匹配关系的数据集使用逐列dropna后重组Series的逻辑，该方法仅适用于各列完全独立、无行对应要求的场景。

内容的提问来源于stack exchange，提问作者SamWel