删除含np.nan的DataFrame行时触发AssertionError: Gaps in blk ref_locs

我有一个12k行×150列的pandas DataFrame，包含Lat列。尝试用drop.na()、mask = (df['Lat'].isna())这类方法删除Lat列含np.nan的行时，触发如下错误：

/Applications/Anaconda/anaconda3/lib/python3.9/site-packages/pandas/core/internals/managers.py in _consolidate_inplace(self)
1686 self._is_consolidated = True
1687 self._known_consolidated = True
-> 1688 self._rebuild_blknos_and_blklocs()
1689
1690

/Applications/Anaconda/anaconda3/lib/python3.9/site-packages/pandas/_libs/internals.pyx in pandas._libs.internals.BlockManager._rebuild_blknos_and_blklocs()

AssertionError: Gaps in blk ref_locs

可行的解决方法 #

• 修复DataFrame内部结构：该错误源于DataFrame的BlockManager内部结构损坏，重新生成DataFrame可修复：

  df = pd.DataFrame(df.values, columns=df.columns)
  # 再执行删除操作
  df_clean = df.dropna(subset=['Lat'])
  

• 强制复制数据：通过copy()方法避免引用原DataFrame的损坏结构：

  # 方法1：删除后直接复制
  df_clean = df.dropna(subset=['Lat']).copy()
  # 方法2：先复制原数据再操作
  df_copy = df.copy(deep=True)
  df_clean = df_copy.dropna(subset=['Lat'])
  

• 升级pandas版本：旧版本pandas更容易出现这类内部结构bug，升级到稳定版可规避：

  pip install --upgrade pandas
  

• 分批次处理：针对大数据集，分批次删除NaN行可绕过该问题：

  # 按每1200行分块处理
  chunks = [df[i:i+1200] for i in range(0, len(df), 1200)]
  df_clean = pd.concat([chunk.dropna(subset=['Lat']) for chunk in chunks])
  

内容的提问来源于stack exchange，提问作者kms