如何用Python更新栅格值？大栅格赋值操作卡顿问题排查

问题描述 #

我要读取一个32位浮点型栅格文件，栅格值仅包含1或无数据。目标是将值为1的像素更新为10，最终以uint8数据类型输出。尝试的代码如下：

import rioxarray
import numpy
my_rast = rioxarray.open_rasterio("my_file.tif", masked=True, cache=False)
my_rast[numpy.where(my_rast == 1)] = 10
my_rast.rio.set_nodata(255)
my_rast.rio.to_raster("output.tif", compress='lzw', num_threads='all_cpus', tiled=True, 
dtype='uint8', driver="GTiff", predictor=2, windowed=True)

但第4行的赋值操作始终无法完成（推测是栅格体积较大导致），不确定问题根源。

print(my_rast)的输出结果：

<xarray.DataArray (band: 1, y: 1140, x: 1053)>
[1200420 values with dtype=float64]
Coordinates:
  * band         (band) int64 1
  * x            (x) float64 9.412 9.412 9.412 9.413 ... 9.703 9.704 9.704 9.704
  * y            (y) float64 47.32 47.32 47.32 47.32 ... 47.0 47.0 47.0 47.0
    spatial_ref  int64 0
Attributes:
    AREA_OR_POINT:  Area
    scale_factor:   1.0
    add_offset:     0.0

问题原因与优化方案 #

1. 核心问题分析 #

• 浮点精度误差：原栅格是32位浮点型，my_rast == 1的精确匹配可能因浮点存储的精度偏差，导致匹配逻辑低效甚至无法命中目标值。
• 赋值方式低效：numpy.where配合索引赋值的方式，在处理掩码数组时会额外产生内存开销，拖慢大栅格的处理速度。

优化后的代码 #

import rioxarray
import numpy

# 打开栅格，保留掩码特性
my_rast = rioxarray.open_rasterio("my_file.tif", masked=True, cache=False)

# 用近似匹配处理浮点精度问题，直接修改底层数据数组
my_rast.data[numpy.isclose(my_rast.data, 1)] = 10

# 转换为uint8类型并设置无数据值
my_rast = my_rast.astype('uint8')
my_rast.rio.set_nodata(255, inplace=True)

# 输出处理后的栅格
my_rast.rio.to_raster(
    "output.tif", 
    compress='lzw', 
    num_threads='all_cpus', 
    tiled=True, 
    driver="GTiff", 
    predictor=2, 
    windowed=True
)

额外优化建议 #

• 若栅格体积极大，打开时可通过chunks参数分块加载，避免一次性占用过多内存：

  my_rast = rioxarray.open_rasterio("my_file.tif", masked=True, cache=False, chunks={"x": 256, "y": 256})
  

• 优先操作底层data数组而非直接对xarray对象赋值，减少掩码维护的额外开销。

内容的提问来源于stack exchange，提问作者TheRealJimShady