You need to enable JavaScript to run this app. 对全表执行groupby后筛选列是否比先选列再groupby占用更多内存?
优惠活动
大模型
产品
解决方案
定价
更多

对全表执行groupby后筛选列是否比先选列再groupby占用更多内存?

两段Pandas分组代码的内存占用对比

首先直接给出结论:第二种写法的内存占用确实更低,二者的差异核心在于分组操作处理的数据集大小不同,具体逻辑如下:

  • 第一段代码 titanic.groupby("Sex")["Age"].mean()
    执行时会先对完整的titanic DataFrame做分组,分组过程需要持有整个数据集的所有列数据生成中间分组对象,等分组完成后才会筛选Age列做均值计算。如果原数据集包含大量其他无关字段,这些字段都会在分组阶段占用不必要的内存。
  • 第二段代码 titanic[["Sex", "Age"]].groupby("Sex").mean()
    执行时会先做列裁剪,仅保留后续计算必须的Sex和Age两列,再用这个仅有两列的精简数据集做分组聚合,分组阶段需要处理的数据量远小于完整数据集,内存占用自然更低。

补充说明:部分较新版本的Pandas会对第一种写法做自动谓词下推优化,在分组前自动裁剪无关列,但该优化并不稳定,在链式调用包含其他操作时很容易失效,主动先筛选需要的列是兼容性更好、更稳妥的低内存写法。

内容的提问来源于stack exchange,提问作者variable

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 13:06:06