处理1800万行DataFrame：pivot_table/groupby运算过慢的优化求助

哇，1800万行的数据集确实会让常规的pandas操作卡壳——我来帮你拆解下耗时的核心原因，再给你几个能显著提速的优化方案，按见效快慢排序：

为什么你的操作这么慢？ #

• 内存压力拉满：1800万行的DataFrame如果带着冗余列、用了低效的数据类型（比如字符串object），很容易占满机器内存，触发磁盘交换（swap），这会让运算速度暴跌几个数量级。
• 聚合函数选错了：你用了np.sum，如果你的需求是统计subsystem的数量而非求和，这完全是用错了工具——sum需要遍历每个数值计算，而size/count是直接计数，效率差很多；就算真的要求和，pandas内置的'sum'比np.sum更适配底层优化。
• 字符串分组开销大：name_heuristics（仅4种取值）和suite如果是object类型（字符串），分组时需要做哈希计算和字符串比较，比category类型慢得多——转成category能大幅降低内存占用和分组耗时。
• unstack的额外开销：groupby后unstack需要重新构建二维表结构，大基数下这个重组过程会消耗大量CPU和内存。

优化方案 #

第一步：先把数据类型优化到极致（立竿见影） #

这是成本最低、效果最明显的操作，几乎不改动逻辑就能大幅提速：

# 把只有4种取值的name_heuristics转为category类型
df['name_heuristics'] = df['name_heuristics'].astype('category')
# 如果suite是重复率很高的字符串，也转成category
df['suite'] = df['suite'].astype('category')
# 压缩subsystem的数值类型（比如从int64转int32，前提是数值范围允许）
df['subsystem'] = pd.to_numeric(df['subsystem'], downcast='integer')
# 只保留需要的三列，删掉冗余列减少内存占用
df = df[['suite', 'name_heuristics', 'subsystem']]

用df.info(memory_usage='deep')看看优化后的内存占用，通常能降到原来的1/3甚至更低。

第二步：换用更高效的聚合/交叉表方法 #

根据你的实际需求选择对应的方法：

1. 如果是统计subsystem的总个数（不关心重复）：用pd.crosstab，这是pandas专门为交叉统计优化的函数，比pivot_table快很多：

   df_table = pd.crosstab(
       index=df['suite'],
       columns=df['name_heuristics'],
       values=df['subsystem'],
       aggfunc='size',  # 用size计数，比sum快
       dropna=False
   ).fillna(0)
   

2. 如果是统计subsystem的求和值：用groupby+sum后pivot，比unstack更高效：

   # 先分组求和，不生成多级索引
   grouped = df.groupby(['suite', 'name_heuristics'], as_index=False)['subsystem'].sum()
   # 再pivot成目标格式
   df_table = grouped.pivot(index='suite', columns='name_heuristics', values='subsystem').fillna(0)
   

3. 如果是统计不同subsystem的数量（去重计数）：先去重再分组，比直接用nunique快：

   # 先去掉重复的组合
   df_unique = df.drop_duplicates(['suite', 'name_heuristics', 'subsystem'])
   # 再统计数量
   df_table = pd.crosstab(
       index=df_unique['suite'],
       columns=df_unique['name_heuristics'],
       aggfunc='size'
   ).fillna(0)
   

第三步：用并行/外存工具突破单进程瓶颈 #

如果优化数据类型和方法后还是慢，说明单进程处理1800万行已经到了pandas的极限，可以试试：

• Dask：自动把数据拆分成多个分区并行处理，语法和pandas几乎一致：

  import dask.dataframe as dd
  # 根据你的CPU核心数设置分区数（比如8核设为8）
  ddf = dd.from_pandas(df, npartitions=8)
  # 并行分组求和后转成pandas DataFrame
  df_table = ddf.groupby(['suite', 'name_heuristics'])['subsystem'].sum().unstack().fillna(0).compute()
  

• Vaex：用内存映射技术，不需要把所有数据加载到内存，适合超大型数据集。

内容的提问来源于stack exchange，提问作者Krithika Raghavendran