如何在含大量点的文本文件中快速检索匹配点获取z坐标

原代码性能瓶颈 #

• 时间复杂度为O(N*M)：每处理1个二维点位，都会重新打开三维点位文件、逐行遍历全量数据做比对，重复IO和无效遍历的开销占了99%以上的运行时间
• 存在大量冗余计算：三维点的x、y坐标三位小数格式化操作，在每次二维点遍历的时候都会重复执行，完全没有必要

优化思路 #

核心用字典哈希映射做空间换时间：

1. 仅遍历1次三维点位文件，把所有点处理后以(保留3位小数的x, 保留3位小数的y)为键、原始点行内容为值存入字典，整个过程只需要打开1次三维文件，x/y的精度转换也只做1次
2. 再遍历二维点位文件，每个点同样做3位小数精度处理后，直接从字典里查对应的键，命中就把对应的三维点行写入结果文件
   整体时间复杂度降到O(N+M)，性能比原嵌套循环高几个数量级，数据量越大提升越明显。

优化后代码 #

# 可根据实际存储路径修改
file_2d = 'D:/Point cloud data/Data mabna 4/Data_without_RGB/Downsampled/Walls_only_downsampled_5cm.txt'
file_3d = 'D:/Point cloud data/Data mabna 4/Data_without_RGB/Downsampled/Combined_cropped_downsampled_5cm.txt'
file_result = 'D:/Point cloud data/Data mabna 4/Data_without_RGB/Downsampled/Walls_only_3d.txt'

# 第一步：仅读取一次三维点文件，构建(x,y)坐标到原始行的映射
point_map = {}
with open(file_3d, 'r') as f2:
    for row in f2:
        parts = row.strip().split()
        if len(parts) < 3:
            continue  # 跳过格式异常的无效行
        x = round(float(parts[0]), 3)
        y = round(float(parts[1]), 3)
        point_map[(x, y)] = row  # 题目说明二维点全部存在于三维点集中，无需处理重复key冲突

# 第二步：遍历二维点，直接通过哈希查询匹配结果写入文件
# 注意：如果不需要保留结果文件原有内容，把文件模式'a'改成'w'即可
with open(file_2d, 'r') as f1, open(file_result, 'a') as f3:
    for line in f1:
        parts = line.strip().split()
        if len(parts) < 2:
            continue
        e = round(float(parts[0]), 3)
        n = round(float(parts[1]), 3)
        # 哈希查询时间复杂度为O(1)，无需遍历全量三维点
        matched_row = point_map.get((e, n))
        if matched_row:
            f3.write(matched_row)

额外优化提示 #

• 用round(浮点数, 3)替代原来的float("{0:.3f}".format(浮点数))，精度处理逻辑完全一致，但运行速度快数倍
• 如果三维点文件大到内存放不下整个字典，可以先对两个文件的点按x、y坐标排序后用双指针匹配，内存开销会降到极低，速度也远快于嵌套循环
• 写入结果文件时a是追加模式，多次运行会重复往文件里写入相同内容，首次生成结果建议用w覆盖模式

内容的提问来源于stack exchange，提问作者youssef