如何高效迭代带自定义计算的pandas DataFrame 提速百万级地震余震识别流程

• 嵌套循环复杂度为O(N²)：100万条记录下全遍历需1e12次级别判断操作，本身存在运算量的数量级问题
• 循环内操作效率极低：使用iterrows逐行遍历pandas对象，单步耗时比numpy数组操作高1-2个数量级；循环内反复调用df3.drop()删除行，每次删除都会触发DataFrame内存重排，单步操作复杂度为O(N)
• 无提前剪枝逻辑：对每个主震遍历所有候选地震时，没有先通过时间、经纬度范围做粗筛，哪怕距离数千公里、时间差数十年的地震都要进入大圆距离计算环节
• 重复计算冗余：同一震级对应的破裂长度、同一对地震的时间差/距离，在循环中重复触发Python函数调用，完全没有利用pandas/numpy的向量化计算能力

所有优化完全对齐原有业务逻辑，不会修改最终匹配结果，仅通过减少无效计算、替换低效操作提升速度。

第一阶：语法层零成本优化（可带来10-100倍提速） #

• 剔除循环内的DataFrame重排操作：不要在循环中逐行删除已匹配的余震，改用布尔标记数组is_matched = np.zeros(len(df3), dtype=bool)，匹配到余震后直接将对应位置设为True，等所有主震遍历完成后一次性筛除所有已匹配记录，完全去掉循环内的内存重排开销
• 替换逐行遍历方式：预先将DataFrame中需要用到的字段（震级、时间、经纬度、深度）转换为独立的numpy数组，循环中直接通过整数索引取值，单步遍历速度比iterrows快100倍以上
• 增加粗筛剪枝环节：
  • 时间维度：对每个主震的时间，先通过预排序的时间索引，快速定位到「主震时间 < 候选地震时间 ≤ 主震时间+余震最大时间间隔」范围内的所有记录，直接跳过时间不符合要求的条目
  • 空间维度：根据主震经纬度和计算得到的破裂半径，先算出对应的经纬度 bounding box（按纬度1度≈111km、经度1度≈111*cos(主震纬度)km的近似比例换算），直接排除矩形范围外的候选地震，这一步可提前过滤90%以上的远距离无效条目，剩下的小范围记录再做精确的大圆距离计算
• 去掉冗余的函数调用：将三个自定义计算函数的逻辑直接内嵌到计算环节，避免Python函数调用的额外开销

第二阶：向量化批处理优化（可再带来10-100倍提速，整体提速可达原代码的1000-10000倍） #

• 分离主震和候选余震数据集：提前将所有满足主震震级阈值的记录单独提取，按时间和震级排序，不要和候选余震集混在一起遍历
• 单主震的余震匹配全部使用向量化计算：对粗筛后的候选子集，不再逐行循环判断，直接对整段数组批量计算：
  • 一次性算出所有候选和主震的震级差、时间差
  • 一次性用向量化haversine公式算出所有候选和主震的大圆距离，比逐行调用great_circle快几个数量级
  • 直接通过布尔索引筛出所有符合条件的余震，统计余震总数；因为原有数据集是按震级降序排列的，第一个被筛出的余震就是震级最大的条目，和原有逻辑完全一致
• 预计算公共常量：将经纬度转弧度的操作提前一次性完成，避免每次计算距离时重复做角度转换
• 保留原有遍历终止逻辑：主震集按震级从高到低排序，遍历到第一个震级低于最小主震阈值的条目时直接停止循环，和原代码逻辑完全一致

第三阶：极端场景优化（针对大震余震多的案例） #

• 引入网格化空间索引：预先将全量地震按0.5度经纬度为单位划分成网格，每个主震只需要遍历周边相邻网格内的候选地震，不需要全范围扫描候选集，从根本上减少单次匹配需要处理的数据量
• 对破裂半径超过100公里的大震，优先匹配主震后前N天的近距离余震，减少单次批处理的数据规模，避免最大震例的6小时级别耗时

内容的提问来源于stack exchange，提问作者Kyle Macy