优化大型Pandas DataFrame过滤性能（本地笔记本环境）

针对66万行、50列的DataFrame高频过滤需求，不用急着升级硬件，试试以下优化手段：

数据结构与查询优化 #

• 转换高效数据类型：将常用过滤的字符串列转为category类型，数值列按需缩小 dtype（比如int32/float32替代默认的64位类型），减少内存开销的同时提升过滤效率。示例：

  df['target_col'] = df['target_col'].astype('category')
  df['num_col'] = df['num_col'].astype('int32')
  

• 用query()替代布尔索引：df.query("target_col == @filter_value")底层依赖Numexpr库实现向量化计算，比传统的df[df.target_col == filter_value]快2-5倍，高频调用场景优势更明显。
• 预建索引：对高频过滤的列设置索引，利用索引的有序性实现快速查找，避免全表扫描。示例：

  df.set_index('target_col', inplace=True)
  # 过滤时直接用loc定位
  filtered_df = df.loc[filter_value]
  

替代工具方案 #

• 切换到Polars：Polars是基于Rust开发的DataFrame库，性能远超Pandas，相同过滤操作的速度能达到Pandas的5-10倍，语法和Pandas高度兼容，无需大幅修改代码即可实现<1秒的高频过滤。
• Dask分块处理：如果本地内存不足，Dask可以将DataFrame分块加载处理，过滤操作自动并行执行，避免内存溢出的同时提升效率。

硬件升级的必要性 #

只有当上述软件优化全部尝试后仍无法达标时，再考虑硬件升级：优先增加内存（避免数据交换到磁盘），其次更换高速SSD（加快数据加载与缓存速度）。绝大多数场景下，软件优化就能满足<1秒的过滤需求。

内容的提问来源于stack exchange，提问作者Raphaël Ambit