使用rasterio/gdal读取部分GeoTIFF执行read操作内核崩溃求助

你遇到的内核崩溃本质是内存不足导致的，从你提供的元数据计算：
单波段uint8类型的栅格全量读取需要的内存为 580655 * 444631 * 1字节 ≈ 258 GB，3个波段合计需要超过770GB的内存空间。你的文件只有400MB是因为GeoTIFF做了高比例压缩，读取元数据仅需要访问文件头无需加载栅格主体，执行read()操作时需要把压缩的栅格全量解压加载到内存，远超普通设备的内存上限，自然会触发内核崩溃。

• 方案1：分块读取，避免全量加载
  仅读取你需要的区域窗口，不要一次性读取整幅影像，rasterio示例代码如下：

  import rasterio
  from rasterio.windows import Window
  
  with rasterio.open('certain_tiff_file.tif') as src:
      # 读取左上角1024*1024的窗口区域
      w = Window(col_off=0, row_off=0, width=1024, height=1024)
      window_data = src.read(window=w)
  

  GDAL分块读取示例：

  from osgeo import gdal
  
  ds = gdal.Open('certain_tiff_file.tif')
  band = ds.GetRasterBand(1)
  # 读取左上角1024*1024区域
  window_data = band.ReadAsArray(xoff=0, yoff=0, win_xsize=1024, win_ysize=1024)
  

• 方案2：降低采样率读取
  若不需要全分辨率数据，可在读取时指定输出尺寸降低分辨率，大幅减少内存占用：

  with rasterio.open('certain_tiff_file.tif') as src:
      # 读取原分辨率1/20的缩略数据
      downscale_factor = 20
      low_res_data = src.read(
          out_shape=(
              src.count,
              int(src.height / downscale_factor),
              int(src.width / downscale_factor)
          )
      )
  

• 方案3：优化栅格存储结构+分块处理
  先将条状存储的TIFF转为瓦片存储，提升分块读取效率，执行GDAL命令：
  gdal_translate -co TILED=YES -co COMPRESS=LZW input.tif tiled_output.tif
  全量处理时可通过rasterio的block_windows接口遍历所有内部瓦片逐块处理，全程不需要加载全量数据到内存。
• 方案4：使用惰性计算框架处理大影像
  若必须全量处理，可以使用dask-rasterio将影像转为dask数组，用分块惰性计算的方式完成处理，避免内存溢出。

内容的提问来源于stack exchange，提问作者Chloe