求助：优化Python实现双CSV GPS坐标10米内近邻点查询

暴力遍历两个CSV的所有点对（时间复杂度O(n*m)）在数据量较大时会严重拖慢效率，下面提供两种高效的解决方案，利用空间索引或球面近邻查询来大幅提升性能。

方法一：使用GeoPandas+空间索引（适合小范围区域，精度高） #

依赖安装 #

pip install geopandas pyproj rtree

代码实现 #

import geopandas as gpd
import pandas as pd
from shapely.geometry import Point

# 读取CSV文件（替换为你的实际列名，比如lat=纬度, lon=经度）
df1 = pd.read_csv("csv1.csv")
df2 = pd.read_csv("csv2.csv")

# 转换为GeoDataFrame，设置WGS84坐标系（GPS默认坐标系）
df1['geometry'] = df1.apply(lambda row: Point(row['lon'], row['lat']), axis=1)
df1 = gpd.GeoDataFrame(df1, crs="EPSG:4326")

df2['geometry'] = df2.apply(lambda row: Point(row['lon'], row['lat']), axis=1)
df2 = gpd.GeoDataFrame(df2, crs="EPSG:4326")

# 转换为米制UTM坐标系（自动匹配区域对应的UTM分区，距离计算更精准）
utm_crs = df1.estimate_utm_crs()
df1_utm = df1.to_crs(utm_crs)
df2_utm = df2.to_crs(utm_crs)

# 构建df2的空间索引，用于快速筛选候选点
sindex = df2_utm.sindex

matches = []
# 遍历csv1的每个点
for idx, row in df1_utm.iterrows():
    # 用10米缓冲区的范围初步筛选可能的候选点（空间索引粗筛）
    candidate_indices = list(sindex.intersection(row['geometry'].buffer(10).bounds))
    candidates = df2_utm.iloc[candidate_indices]
    
    # 精确计算距离，筛选真正小于10米的点
    valid_matches = candidates[candidates.distance(row['geometry']) < 10]
    
    if not valid_matches.empty:
        for match_idx, match_row in valid_matches.iterrows():
            distance = row['geometry'].distance(match_row['geometry'])
            matches.append({
                'csv1_id': idx,
                'csv1_lat': df1.iloc[idx]['lat'],
                'csv1_lon': df1.iloc[idx]['lon'],
                'csv2_id': match_idx,
                'csv2_lat': df2.iloc[match_idx]['lat'],
                'csv2_lon': df2.iloc[match_idx]['lon'],
                'distance_m': round(distance, 2)
            })

# 保存结果到CSV
result_df = pd.DataFrame(matches)
result_df.to_csv("matched_points.csv", index=False)

方法二：使用Scikit-learn的BallTree（适合全球范围，无需坐标系转换） #

依赖安装 #

pip install pandas scikit-learn numpy

代码实现 #

import pandas as pd
import numpy as np
from sklearn.neighbors import BallTree

# 读取CSV文件（替换为你的实际列名）
df1 = pd.read_csv("csv1.csv")
df2 = pd.read_csv("csv2.csv")

# 将经纬度转换为弧度（haversine距离计算要求输入弧度）
df1_rad = np.radians(df1[['lat', 'lon']].values)
df2_rad = np.radians(df2[['lat', 'lon']].values)

# 构建BallTree，使用haversine度量（球面距离，单位米）
tree = BallTree(df2_rad, metric='haversine')

# 计算10米对应的弧度值（地球平均半径6371000米）
max_rad = 10 / 6371000

# 查询每个csv1点在csv2中距离小于10米的所有点
indices, distances = tree.query_radius(df1_rad, r=max_rad, return_distance=True)

matches = []
for i, (match_indices, rad_dists) in enumerate(zip(indices, distances)):
    if len(match_indices) > 0:
        for j, rad_dist in zip(match_indices, rad_dists):
            # 将弧度距离转换为实际米数
            distance_m = rad_dist * 6371000
            matches.append({
                'csv1_id': i,
                'csv1_lat': df1.iloc[i]['lat'],
                'csv1_lon': df1.iloc[i]['lon'],
                'csv2_id': j,
                'csv2_lat': df2.iloc[j]['lat'],
                'csv2_lon': df2.iloc[j]['lon'],
                'distance_m': round(distance_m, 2)
            })

# 保存结果
result_df = pd.DataFrame(matches)
result_df.to_csv("matched_points.csv", index=False)

关键优化点 #

• 空间索引/球树将时间复杂度从O(n*m)降至O(n log m)，数据量越大，效率提升越明显。
• 先粗筛后精算：避免对所有点对进行距离计算，只对可能符合条件的候选点做精确计算。

注意事项 #

• 确保CSV中的纬度（lat）和经度（lon）列名与代码中的一致，否则需要修改对应字段。
• 若数据量超过百万级，可考虑分块处理或使用Dask框架进行并行计算。
• UTM坐标系适合小范围区域（如单个城市）的距离计算，精度更高；haversine方法适合跨区域/全球范围的GPS点。

内容的提问来源于stack exchange，提问作者yero oumarou