6万坐标点间距离矩阵计算的Python优化方案问询

针对60000个坐标点的距离矩阵计算需求，以下是几种避免内存耗尽、提升计算速度的可行方案：

1. NumPy向量化计算（平面坐标场景） #

利用NumPy的广播机制，直接基于原始坐标数组计算，无需生成冗余的超大列表。仅需存储N×2的坐标数组，计算过程中通过广播实现两两差值运算，内存占用极低。

import numpy as np

# 将features转换为N×2的NumPy数组
coords = np.array(features)
# 广播计算两两坐标差
diff = coords[:, np.newaxis, :] - coords[np.newaxis, :, :]
# 计算欧氏距离矩阵
dist_matrix = np.sqrt(np.sum(diff ** 2, axis=-1))

若内存仍有压力，可拆分坐标数组为若干小块，逐块计算后拼接结果。

2. SciPy内置距离计算函数（推荐） #

SciPy的cdist函数底层由C实现，效率远高于纯Python代码，支持多种距离度量，且自动优化内存使用。

平面坐标欧氏距离 #

from scipy.spatial.distance import cdist

coords = np.array(features)
dist_matrix = cdist(coords, coords, metric='euclidean')

地理坐标球面距离（经纬度转弧度） #

针对经纬度数据，使用haversine度量计算球面距离，结果乘以地球半径（如6371km）得到实际距离：

coords_rad = np.radians(np.array(features))
# 结果单位为千米
dist_matrix = cdist(coords_rad, coords_rad, metric='haversine') * 6371

3. 分块批量处理（内存友好型） #

当内存无法容纳完整的距离矩阵时，将数据拆分为固定大小的块，逐块计算并写入结果矩阵，显著降低内存峰值占用。

import numpy as np
from scipy.spatial.distance import cdist

coords = np.array(features)
n = coords.shape[0]
block_size = 1000  # 可根据内存调整块大小
dist_matrix = np.zeros((n, n), dtype=np.float64)

for i in range(0, n, block_size):
    end_idx = min(i + block_size, n)
    # 计算当前块与所有点的距离
    dist_matrix[i:end_idx, :] = cdist(coords[i:end_idx], coords, metric='euclidean')

4. Geopandas优化方案（地理精确距离） #

若需考虑椭球投影的精确距离，先将经纬度投影到平面坐标系（如佛罗里达适用的EPSG:32617），再分块计算，避免生成超大GeoDataFrame。

import geopandas as gpd
from shapely.geometry import Point
import numpy as np

# 创建原始GeoDataFrame
geometry = [Point(xy) for xy in features]
gdf = gpd.GeoDataFrame(geometry=geometry, crs='EPSG:4326')
# 投影到平面坐标系（以米为单位）
gdf_proj = gdf.to_crs('EPSG:32617')

n = len(gdf_proj)
block_size = 500
dist_matrix = np.zeros((n, n))

for i in range(0, n, block_size):
    end_idx = min(i + block_size, n)
    # 计算当前块与所有点的平面距离
    dist_matrix[i:end_idx, :] = gdf_proj.geometry[i:end_idx].distance(gdf_proj.geometry).values

核心优化要点 #

• 杜绝冗余数据生成：摒弃原代码中生成3.6e9元素列表的操作，所有方案均基于原始N×2坐标数组计算。
• 优先使用底层优化库：SciPy、NumPy的C实现远快于纯Python循环或未优化的Geopandas操作。
• 匹配距离计算场景：小范围地理数据优先投影到平面计算精确距离，大范围则使用球面距离公式。
• 分块降低内存压力：内存不足时，分块计算是平衡速度与资源的关键。

内容的提问来源于stack exchange，提问作者Kat Neumann