如何加速Python pandas DataFrame嵌套循环实现高效分组债务权益比计算

完全抛弃三层嵌套循环+逐次布尔过滤的低效写法，改用pandas原生的向量化分组/透视操作，这类操作底层基于C语言实现，运算速度比纯Python循环快几十到上百倍。

具体实现步骤 #

• 第一步：将长格式的因子表透视为宽表，按需求维度聚合
  当前的表是典型的长格式存储：同一个分组下的不同因子值分多行存储，利用pivot_table可以一次性把debt、equity两类因子值拆成独立列，不需要逐组遍历：

  # 按指定的三个维度分组，将因子值转为独立列
  wide_df = data.pivot_table(
      index=["date", "security_id", "country"],  # 分组维度和需求完全对齐
      columns="factor_name",  # 按因子类型拆分列
      values="factor_value",
      aggfunc="first"  # 每组对应一个因子值，取第一个即可，和原逻辑完全一致
  ).reset_index()
  

  注意：如果你的factor_name列的实际取值是原代码中的"TD"（债务）、"TE"（权益），只需要把代码里对应的判断值替换成实际取值即可，整体逻辑完全不变。

• 第二步：向量化计算债务权益比
  匹配原代码的判断逻辑（缺值、值为0时返回0，否则返回债务/权益），不需要逐行循环判断：

  import numpy as np
  wide_df["debt_equity_ratio"] = np.where(
      # 判断条件完全对齐原逻辑：两个值都存在、都不为0
      (wide_df["debt"].notna()) & (wide_df["equity"].notna()) &
      (wide_df["debt"] != 0) & (wide_df["equity"] != 0),
      wide_df["debt"] / wide_df["equity"],
      0  # 不满足条件直接返回0
  )
  

性能差距的核心原因 #

• 原嵌套循环的性能瓶颈：三层遍历所有date、security_id、country的组合，每个组合都要对全量DataFrame做两次布尔过滤，时间复杂度为O(总行数 × 维度组合数)，数据量超过10万行就会出现明显卡顿，数据量再大甚至会达到数小时的运行时长。
• 向量化方案的性能优势：pivot_table底层是单次全表扫描完成分组聚合，时间复杂度仅为O(总行数)，哪怕是百万行级别的数据，也能在几秒内完成计算。

大表场景的可选极致优化 #

• 如果单表行数超过百万行，可以在透视前把维度类列转为分类类型，进一步降低内存占用和运算耗时：

  # 维度列转分类类型，大表下提速效果明显
  dim_cols = ["date", "security_id", "country", "factor_name"]
  data[dim_cols] = data[dim_cols].astype("category")
  

• 如果不想生成中间宽表，也可以用groupby分组后逐组计算，这种写法比原嵌套循环快的核心是：分组时只做一次全表扫描定位每个组的所有行，不需要每个维度组合都扫一次全表：

  def calc_group_ratio(group):
      debt_val = group.loc[group["factor_name"] == "debt", "factor_value"].iloc[0] if any(group["factor_name"] == "debt") else np.nan
      equity_val = group.loc[group["factor_name"] == "equity", "factor_value"].iloc[0] if any(group["factor_name"] == "equity") else np.nan
      if pd.isna(debt_val) or pd.isna(equity_val) or debt_val == 0 or equity_val == 0:
          return 0
      return debt_val / equity_val
  
  result = data.groupby(["date", "security_id", "country"], as_index=False).apply(calc_group_ratio)
  

内容的提问来源于stack exchange，提问作者Van Tom