Python执行过滤操作导致程序挂起卡顿，该如何进行调试排查？

基础环境校验 #

• 确认pandas版本是否发生变动：运行pip show pandas查看当前版本，和上次正常运行时的版本做对比。大版本更新（比如1.x升级到2.x）可能存在布尔索引的性能退化，如果版本有变更，回退到旧版本验证问题是否消失。
• 检查运行时内存占用：执行过滤前先打印df.memory_usage(deep=True).sum()查看数据集实际占用内存，如果内存占用接近系统可用内存上限，会触发系统交换分区（swap）读写，导致进程假死。

代码效率验证 #

你当前的写法存在不必要的性能开销：df[df[columns]==1]会生成一个和原DataFrame同大小的掩码矩阵，所有非1的值都会被替换为NaN，对大宽表场景开销极高。可以替换为更高效的逻辑测试运行速度：

# 仅生成行级布尔掩码，不需要构造全量NaN矩阵
mask = (df[columns] == 1).any(axis=1)
indices = list(df[mask].index)

如果替换后运行正常，说明问题出在原有写法的性能开销被放大，而非逻辑错误。

数据隐式变更校验 #

即使你认为源数据没有改动，也要做如下检查：

• 运行print(df[columns].dtypes)确认所有目标列都是数值类型，如果某列被隐式识别为object类型，和1做等值判断时会触发逐元素的类型校验，运算速度会下降几个数量级。
• 统计len(columns)的数值，确认筛选出来的带temp的列数量和之前一致，如果CSV表头被意外新增了大量带temp后缀的列，会导致布尔运算的维度暴增，运算量指数级上升。

常见根本原因 #

• 依赖包静默升级：虚拟环境自动更新、依赖包版本兼容问题，导致pandas或numpy的底层运算逻辑变动，低效率写法的性能问题被放大。
• 数据隐式变化：CSV文件虽然名称不变，但实际行数、列数增长，或者列中混入非数值内容，导致运算开销骤增。
• 系统资源变动：运行环境的可用内存减少、存储介质IO速度下降（比如本地磁盘坏道、远程存储网络波动），都会导致进程看起来处于卡住状态。

内容的提问来源于stack exchange，提问作者user13132640