如何用Pandas或其他方法高效处理千万级数据计算？

核心思路 #

避开逐行循环这类低效操作，利用Pandas的向量化映射+预计算比值的方式，把复杂度从O(N*M)降到O(N+M)（N为dfA行数，M为小DataFrame总行数），最大化利用Pandas的底层优化。

具体步骤 #

1. 预计算小DataFrame的比值映射
   对listB里的每个df，提前算出v1/v2的比值，转成以匹配列（对应dfA的Var1~Var4）为索引的Series，后续直接通过索引快速取值：

   # 假设listB中df1-df4的索引就是匹配dfA Var1-Var4的键
   ratio_series = []
   for df in listB:
       # 预计算比值并转为Series
       ratio = df['v1'] / df['v2']
       ratio_series.append(ratio)
   # 拆分对应Var1~Var4的比值Series
   r1, r2, r3, r4 = ratio_series
   

   如果小df是用专门的键列（比如df1有key列对应dfA的Var1）匹配，调整为：

   ratio = (df['v1'] / df['v2']).set_index('key')
   

2. 向量化映射计算单列贡献
   用Pandas的map方法（比apply/循环高效数倍），把dfA的每列对应到预计算的比值Series，再乘以原列值得到单列结果：

   col1 = dfA['Var1'].map(r1) * dfA['Var1']
   col2 = dfA['Var2'].map(r2) * dfA['Var2']
   col3 = dfA['Var3'].map(r3) * dfA['Var3']
   col4 = dfA['Var4'].map(r4) * dfA['Var4']
   

3. 向量化求和得到最终结果
   直接对四列结果做批量求和，生成1000万行的最终结果：

   final_result = col1 + col2 + col3 + col4
   

额外优化点 #

• 若Var1~Var4存在对应小df中没有的取值，可在map时加na_action='ignore'，或提前给比值Series填充默认值（比如ratio.fillna(0, inplace=True)）。
• 内存吃紧时，可将dfA的列转为float32（精度允许的话），大幅降低内存占用。
• 绝对避免apply、逐行循环或np.vectorize，这类方法本质还是逐元素处理，大数据量下性能极差。

内容的提问来源于stack exchange，提问作者Raghu