面向节点-边模型的燃气配电网空间数据清洗技术问询

问题背景 #

近几周一直在处理燃气配电网空间数据集，用于可视化并生成节点-边模型以开展质量/能量流分析。数据集以shapely.geometry形式存储在GeoDataFrame中，示例代码如下：

import geopandas as gpd
import matplotlib.pyplot as plt
from shapely.geometry import Point, LineString, Polygon

# 示例线段
Line1 = LineString([(0,0), (0.5, -1), (3, 0.5)])
Line2 = LineString([(0.5, -1), (0.5, -2), (2, -2.5), (3, -0.5)])
Line3 = LineString([(3, 0.5), (2, 1.5), (2, 0.5)])
Line4 = LineString([(2.5, -1.5), (3.5, -2), (4, 0)])
Line5 = LineString([(3, 0.5), (4, 1)])

# 示例节点
node1 = Point(3, 0.5)
node2 = Point(0.5, -1)
node3 = Point(2.5, -1.5)

dictEdges = {
    'geometry': [Line1, Line2, Line3, Line4, Line5],
    'names': ['firstE', 'secondE', 'thirdE', 'fourthE', 'fifthE'],
    'level': ['lp', 'lp', 'lp', 'lp', 'lp'] 
}

dictNodes = {
    'geometry': [node1, node2, node3],
    'names': ['firstN', 'secondN', 'thirdN'],
    'type': ['con', 'con', 'con']
}

edgesGDF = gpd.GeoDataFrame(dictEdges, geometry='geometry')
nodesGDF = gpd.GeoDataFrame(dictNodes, geometry='geometry')

plt.figure(figsize=(15, 10))
ax = plt.gca()

edgesGDF.plot('names', legend=True, ax=ax)
nodesGDF.plot('names', legend=True, ax=ax)

核心需求是完善节点-边结构：当一条边连接超过两个节点时，生成连接这些节点的边点。当前数据清洗步骤如下：

• 获取每条线的起点和终点
• 针对每个点，搜索其指定最大距离范围内的线段（未找到高效实现方法）
• 对未以该点为起点/终点的交叉线，在距当前点最近的位置切割
• 若当前点无对应节点，创建新节点连接周边所有找到的线段，生成新数据结构

已完成步骤1、3、4，现需优化步骤2的点附近线段搜索效率，此前手动实现的边界框判断法效率较低，寻求更优方案或内置函数。

高效实现方案 #

1. 利用GeoPandas空间索引（推荐） #

GeoDataFrame自带基于R-tree的空间索引，可快速缩小候选范围，再做精确判断，是处理空间近邻搜索的标准高效方案：

# 为线段GeoDataFrame创建空间索引
edge_sindex = edgesGDF.sindex

# 遍历每个节点，搜索指定距离内的线段
search_distance = 0.1  # 根据实际需求调整距离阈值
for _, node_row in nodesGDF.iterrows():
    node = node_row.geometry
    # 创建节点的缓冲区，用于范围筛选
    node_buffer = node.buffer(search_distance)
    # 用空间索引快速获取与缓冲区边界框相交的线段候选
    candidate_indices = list(edge_sindex.intersection(node_buffer.bounds))
    candidate_edges = edgesGDF.iloc[candidate_indices]
    # 精确筛选真正在缓冲区内的线段
    matching_edges = candidate_edges[candidate_edges.intersects(node_buffer)]
    
    # 后续处理：排除以该点为起点/终点的线段，再执行切割等操作
    # ...

空间索引先通过边界框快速过滤掉大部分不相关线段，再做精确相交判断，比全量遍历效率提升显著，尤其适合大数据集。

2. 直接用Shapely距离筛选（小数据集场景） #

如果数据集规模较小，可直接批量计算点到线段的距离，筛选符合阈值的线段：

search_distance = 0.1
for _, node_row in nodesGDF.iterrows():
    node = node_row.geometry
    # 计算所有线段与当前节点的距离，筛选小于阈值的线段
    near_edge_mask = edgesGDF.geometry.distance(node) < search_distance
    matching_edges = edgesGDF[near_edge_mask]
    
    # 后续处理
    # ...

该方法代码简洁，但大数据集下性能不如空间索引方案。

3. 底层优化：手动构建R-tree索引 #

若需更灵活的空间索引控制，可直接使用rtree库手动构建索引，但GeoPandas已封装此功能，无需重复实现。

关键注意事项 #

• 缓冲区距离需匹配数据的坐标单位（如米、经纬度度数），避免误差
• 筛选后需排除以当前节点为起点/终点的线段，避免重复处理
• 空间索引方案的性能优势在数据量越大时越明显，优先推荐生产环境使用

内容的提问来源于stack exchange，提问作者DrLecter