基于Haversine公式计算DataFrame网格内点间距的提速方案咨询

• 1. 空间索引替换暴力遍历
     你现有逻辑是O(n²)的暴力距离计算，单网格百万级点的情况下完全不可行。改用支持地理距离的空间索引（比如BallTree、KD树），可将复杂度降到O(nlogn)。scikit-learn的BallTree原生支持haversine地理距离度量，无需自己实现距离计算，构建索引后仅需一次范围查询即可判断是否存在符合阈值的点对，性能提升可达百倍以上。
     参考实现代码：

from sklearn.neighbors import BallTree
import numpy as np

EARTH_RADIUS = 6371 # 单位保持和你原有逻辑一致为km

def get_pass_in_grid_optimized(group):
    # 转换为弧度，BallTree的haversine度量要求输入为弧度格式的(纬度, 经度)
    coords = np.radians(group[['Lat', 'Lon']].values)
    # 网格内不足2个点直接返回结果
    if len(coords) < 2:
        return (0, 0)
    # 构建Ball树索引
    tree = BallTree(coords, metric='haversine')
    # 100m阈值转换为弧度距离：距离/地球半径
    threshold_100m = 0.1 / EARTH_RADIUS
    # 范围查询，只统计每个点阈值范围内的点数量，包含自身
    counts_100m = tree.query_radius(coords, r=threshold_100m, count_only=True)
    # 只要有一个点的范围内存在其他点，就满足100m条件，同时自动满足1km条件
    if (counts_100m >= 2).any():
        return (1, 1)
    # 未命中100m条件，再查询1km阈值
    threshold_1km = 1 / EARTH_RADIUS
    counts_1km = tree.query_radius(coords, r=threshold_1km, count_only=True)
    if (counts_1km >= 2).any():
        return (0, 1)
    # 都未命中
    return (0, 0)

• 2. 细网格预筛跳过无效计算
     在现有100km×100km大网格的基础上，额外按查询阈值划分更小的网格：比如要判断100m点对，就按70m×70m（可根据精度需求调整）划分细网格，给每个点打上细网格编号。只要任意一个细网格内存在≥2个点，直接判定存在小于100m的点对，不需要做任何距离计算。仅当细网格内都只有单个点时，才需要检查相邻细网格的点，进一步减少计算量。
• 3. 逻辑提前终止减少冗余计算
     无需计算所有点的最小距离再统计结果：优先判断阈值更小的100m条件，只要检测到符合100m的点对，直接返回(1, 1)即可，1km条件自动满足；100m条件不满足时再判断1km条件，命中就返回(0,1)，都不命中才返回(0,0)。
• 4. 高性能计算优化
  5. 弃用iterrows遍历：pandas的iterrows性能极低，直接将经纬度列转为numpy数组做向量化计算，速度可提升数十倍。
  6. JIT编译：如果有自定义计算逻辑，用numba装饰距离计算、遍历逻辑，编译后性能接近C语言。
  7. 分布式处理：数十亿级全量数据不要用单机pandas处理，改用Dask、PySpark搭配地理空间扩展（GeoSpark、Mosaic）分布式处理各个网格的任务，可线性扩展计算能力。

内容的提问来源于stack exchange，提问作者Pfrances