如何优化GDAL读取大DSM文件多点位高程的效率？

刚接触GDAL就遇到这种性能问题太正常了——单点读取栅格数据在大文件上的开销确实会爆炸，因为每次ReadAsArray(px, py, 1, 1)都要触发一次磁盘IO，大文件的磁盘寻址和块读取成本比小文件高得多。给你几个实用的优化方案，亲测能大幅提升速度：

1. 批量读取连续区域，内存中提取点位 #

这是提升速度最显著的方法：先找出所有点位对应的像素坐标的边界，一次性读取这个矩形区域的栅格数据到内存，再从内存数组里逐个提取每个点的高程。这样只需要1次磁盘IO，剩下的都是内存操作，速度能快好几倍。

代码示例： #

# 先收集所有点位的像素坐标（假设你已经计算好px、py）
px_list = []
py_list = []
for point in points:
    # 这里是你计算px、py的逻辑，提前把所有px、py存到列表里
    px = ...  # 你的x偏移量计算
    py = ...  # 你的y偏移量计算
    px_list.append(px)
    py_list.append(py)

# 计算需要读取的矩形区域边界
min_px = min(px_list)
max_px = max(px_list)
min_py = min(py_list)
max_py = max(py_list)
width = max_px - min_px + 1
height = max_py - min_py + 1

# 一次性读取整个区域到内存
raster_block = ds_band.ReadAsArray(min_px, min_py, width, height)

# 从内存块中提取每个点的高程
alt_list = []
for px, py in zip(px_list, py_list):
    # 计算当前点在内存块中的相对位置
    x_idx = px - min_px
    y_idx = py - min_py
    # 注意GDAL的数组是行优先（y在前，x在后）
    alt = raster_block[y_idx, x_idx]
    alt_list.append(alt)

如果你的点位分散在整个栅格（不是集中在一个小区域），可以考虑把栅格分成若干块，批量读取每个块内的点位，避免一次性读取过大的区域占用太多内存。

2. 增大GDAL缓存 #

GDAL默认的缓存较小，大文件读取时会频繁重复读取磁盘块。你可以在打开文件前设置更大的缓存，让GDAL把常用的块存在内存里，减少重复IO：

from osgeo import gdal

# 设置200MB缓存（根据你的内存情况调整）
gdal.SetCacheMax(1024 * 1024 * 200)
# 再打开你的DSM文件
ds = gdal.Open("large_dsm.tif")
ds_band = ds.GetRasterBand(1)

3. 直接使用RasterIO（进阶） #

ReadAsArray其实是GDAL底层RasterIO函数的封装，如果你想更灵活地读取离散点位，可以直接调用RasterIO。不过这个方法需要处理数据类型转换，适合有一定基础后尝试：

import numpy as np

# 准备点位的像素坐标数组（注意顺序是y, x）
pixel_coords = np.array([py_list, px_list], dtype=np.int32)
# 准备存储高程的数组
alt_array = np.zeros(len(points), dtype=np.float32)  # 根据你的DSM数据类型调整

# 调用RasterIO读取离散点位
ds_band.ReadRaster(
    xoff=0, yoff=0,
    xsize=ds_band.XSize, ysize=ds_band.YSize,
    buf_obj=alt_array,
    buf_xsize=len(points), buf_ysize=1,
    buf_type=gdal.GDT_Float32,  # 匹配DSM的数据类型
    resample_alg=gdal.GRIORA_NearestNeighbour,
    pixel_space=pixel_coords
)

为什么你的原方法慢？ #

小文件因为体积小，整个文件可能一次性加载到内存缓存里，所以单点读取速度快；但5GB的大文件无法全部缓存，每次单点读取都要从磁盘的不同位置寻址、读取块，磁盘IO的延迟累加起来就导致了耗时剧增。

内容的提问来源于stack exchange，提问作者Aayush