使用rioxarray处理大型栅格时内存溢出问题求解

我正尝试将R语言中处理大型栅格重分类的内存安全代码改写为Python代码。在R中，我使用terra包的classify函数并指定filename参数，可安全处理大型栅格并将结果写入文件，无内存担忧。但用rioxarray编写的Python代码出现内存崩溃，求解决方法。

R代码：

library("terra")
my_rast <- rast("my_rast.tif")
classify(my_rast, cbind(1, 10), filename = "reclassed_rast.tif")

Python代码：

import rioxarray
my_rast = rioxarray.open_rasterio("my_rast.tif", cache=False, chunks = "auto")
my_rast_reclass = my_rast.where(my_rast != 1, 10)
my_rast_reclass.rio.to_raster("reclassed_rast.tif")

以下是几个解决内存崩溃问题的关键调整：

• 明确指定分块大小：chunks="auto"有时会生成过大的分块，导致内存溢出。手动设置合理的分块尺寸（比如1024x1024），确保每个分块能被内存容纳：

  my_rast = rioxarray.open_rasterio("my_rast.tif", cache=False, chunks={"x": 1024, "y": 1024})
  

  若为多波段栅格，可加上波段维度的分块：chunks={"band":1, "x":1024, "y":1024}

• 改用Dask分块映射操作：直接用where可能在某些场景下触发全量数据加载，用Dask的map_blocks逐块处理更稳妥：

  import rioxarray
  import dask.array as da
  
  def reclassify_chunk(chunk):
      return da.where(chunk != 1, 10, chunk)
  
  my_rast = rioxarray.open_rasterio("my_rast.tif", cache=False, chunks={"x": 1024, "y": 1024})
  # 替换数据为分块处理后的结果
  my_rast_reclass = my_rast.copy(data=reclassify_chunk(my_rast.data))
  

• 启用窗口化写入：在保存栅格时添加windowed=True参数，强制rioxarray按分块窗口写入，避免一次性加载整个数据集：

  my_rast_reclass.rio.to_raster("reclassed_rast.tif", windowed=True)
  

• 依赖版本检查：确保安装了最新版的rioxarray和Dask，旧版本可能存在分块处理的兼容性问题。

内容的提问来源于stack exchange，提问作者TheRealJimShady