Pandas布尔索引操作导致脚本无响应冻结问题求助

问题场景 #

在Ubuntu 22系统中，无论使用Conda环境（Python 3.10.6 + Pandas 1.3.4）还是原生Python环境（3.9.12 + Pandas 1.3.4），执行df[df['Column']=='Value']这类布尔索引操作时，脚本无报错但完全冻结。测试代码如下：

#!/usr/bin/env python
# coding: utf-8
import pandas as pd 

df = pd.read_csv("data/corpus.csv") 
print(df.shape)
df = df[df['Title']=='Yes']
print(df['Title'])

其中print(df.shape)能正常输出，单独生成布尔序列var = df['Title']=='Yes'也正常，但执行df = df[var]后脚本卡住，后续打印无法执行。已尝试切换环境、更换测试CSV文件、在终端/Jupyter Notebook运行，问题均未解决。

排查与解决步骤 #

• 检查数据集特征

  • 确认数据规模：如果df.shape显示行数达千万级以上，布尔索引的内存占用可能触发系统资源瓶颈，导致假死。可先通过df.sample(1000)取小样本测试，验证是否还会冻结。
  • 检查列数据类型：用df['Title'].dtype查看类型，用df['Title'].unique()列取值范围，若Title列混合了字符串、数值或缺失值，== 'Yes'的隐性类型转换可能引发异常计算。
  • 过滤缺失值：若Title列存在大量NaN，含NaN的布尔序列可能导致Pandas处理异常，可先执行df = df.dropna(subset=['Title'])再尝试索引操作。

• 替换索引方式测试
  换用不同索引语法，验证是否为特定语法的兼容性问题：

  # 方式1：使用loc明确索引
  df = df.loc[df['Title'] == 'Yes', :]
  # 方式2：分离布尔序列与索引操作
  mask = df['Title'] == 'Yes'
  df = df[mask]
  # 方式3：使用query方法
  df = df.query("Title == 'Yes'")
  

• 升级Pandas版本
  Pandas 1.3.4为2021年发布的旧版本，可能存在与Ubuntu 22或Python 3.9/3.10的兼容性bug，尝试升级至稳定版：

  # Conda环境
  conda install pandas==2.0.3
  # 原生Python环境
  pip install --upgrade pandas==2.0.3
  

• 监控系统资源
  执行脚本时用top或htop监控CPU和内存：

  • 若CPU占用100%，说明Pandas在进行大量未完成的计算，可能是数据量过大或内部逻辑异常；
  • 若内存接近系统上限，说明内存不足导致swap频繁，需增加内存或缩小数据集。

• 检查底层依赖版本
  Pandas依赖的NumPy等库版本过低也可能引发问题，先查看版本：

  import numpy as np
  print(np.__version__)
  

  若NumPy版本低于1.21.0，建议升级：

  # Conda环境
  conda install numpy==1.24.3
  # 原生Python环境
  pip install --upgrade numpy==1.24.3
  

内容的提问来源于stack exchange，提问作者Louis-Fiacre