PySpark循环n次后性能逐渐变慢问题排查

• 内存碎片化与重复复制开销：DataFrame是不可变结构，每次循环执行join后都会生成新的DataFrame对象。前几次列数少，复制整个对象的开销可以忽略，但随着列数增加，哪怕行数只有1000，每次复制几十列数据的成本会越来越高，到第10次时，复制体量已经是第一次的好几倍，自然变慢。而一次性传n=20的函数，大概率是内部批量生成所有新增列后再合并，避免了多次完整复制整个DataFrame的过程。

• 索引维护的累积成本：每次join都要做索引对齐、校验。列数少的时候这一步很快，但列数多了之后，DataFrame的索引元数据越来越复杂，每次循环都要重新校验所有现有列的索引一致性，这个过程的耗时会随列数增长呈线性甚至非线性上升。批量处理时可能只需要做一次索引对齐，后续直接追加列，省去了多次校验的重复劳动。

• 重复的类型与数据校验：每次join操作，pandas都会检查新增列和原DataFrame的类型兼容性、缺失值情况等。列数越多，每次校验要遍历的列元数据就越多，耗时自然累加。而批量处理的函数可能提前完成了所有列的类型推断和校验，不会重复执行这些步骤。

• pandas批量优化的缺失：pandas对批量操作有很多内部优化，比如向量化处理、减少中间对象生成。但循环里的逐次join是独立操作，触发不了这些优化，时间复杂度接近O(n²)——因为每次都要处理之前所有的列。而一次性生成所有列再合并的方式，时间复杂度是线性的，自然快很多。

• 内存压力与垃圾回收滞后：循环中每次生成的临时DataFrame如果没被及时回收，会占满内存，导致后续操作需要频繁进行内存页交换，速度骤降。批量处理时中间对象少，内存占用更稳定，垃圾回收的压力也小。

内容的提问来源于stack exchange，提问作者Dizzy2510