如何处理大规模经纬度数据生成距离矩阵，且不触发内核重启

1. 内核崩溃的规避方法 #

你遇到的崩溃本质是全量稠密距离矩阵的内存占用随样本量指数增长导致的，21000条样本对应的全量矩阵有4.41亿个元素，仅存储就需要3.5GB左右的内存，再加上计算过程中的临时内存开销，普通配置的设备很容易崩溃，可以通过以下方案解决：

• 使用稀疏空间权重矩阵替代全量稠密矩阵。空间计量模型中不需要所有样本两两之间的距离，通常仅保留「距离小于预设阈值的邻接样本」或「K个最近邻样本」的距离，其余无影响的距离项直接记为0，用稀疏矩阵格式存储即可，内存占用可以降低几个数量级。
• 选择适配空间坐标的高效计算方法。经纬度属于球面坐标，不要直接用普通欧氏距离计算，使用球树（Ball Tree）、KD树等数据结构做近邻检索，比暴力计算所有两两距离的效率高数十倍，内存开销也低很多。
• 确需全量矩阵时可分块计算。如果特殊场景必须使用全量稠密矩阵，可以把样本拆分为多个小批次，每次仅计算一个批次和全量样本的距离，计算完成后直接写入磁盘释放内存，最后再合并所有批次的结果。

下面是适配你场景的可运行代码示例，21000条样本运行不会出现内存问题：

from sklearn.neighbors import NearestNeighbors
import scipy.sparse as sp
import numpy as np
import pandas as pd

# 提取经纬度并转为弧度，用于计算球面距离
coords = np.radians(df[['lat', 'long']].values)
sample_count = len(coords)

# 配置近邻检索参数，这里保留15个最近邻，可根据模型需求调整
nbrs = NearestNeighbors(
    n_neighbors=15,
    algorithm='ball_tree',
    metric='haversine'
).fit(coords)
distances, indices = nbrs.kneighbors(coords)

# 转换为稀疏距离矩阵，距离单位为公里
row_idx = np.repeat(np.arange(sample_count), 15)
col_idx = indices.flatten()
dist_data = distances.flatten() * 6371  # 乘以地球半径转换为公里
sparse_distance_matrix = sp.csr_matrix(
    (dist_data, (row_idx, col_idx)),
    shape=(sample_count, sample_count)
)

2. 全量稠密距离矩阵的适用性 #

你当前使用的直接生成全量稠密距离矩阵的方法，完全不适用于大规模数据集。
这类方法的时间、内存复杂度都是O(n²)，样本量过万之后开销就会暴涨：10万样本对应的全量矩阵存储就需要80GB，普通设备根本无法承载。空间计量领域处理大规模样本的通用方案都是使用稀疏权重矩阵，仅保留有效邻接关系，完全不需要生成全量稠密矩阵。

内容的提问来源于stack exchange，提问作者Rbcc