在R中缩减栅格体积 解决大体积栅格栈kmeans分析内存不足问题

最优无信息损失方案：分块+采样实现K-means #

不需要对栅格做任何降采样压缩，完全规避内存不足问题：

• 使用支持分块读取的栅格处理库，R环境选terra包、Python环境选rasterio+dask组合，两类工具都原生支持100GB级栅格的分块读取，不会一次性加载全量数据到内存。
• K-means计算不需要全量像素参与训练：先随机采样全栅格10%~20%的像素拟合聚类中心，再将聚类规则逐块应用到全量栅格即可。terra包内置的kmeans方法默认启用采样逻辑，不需要手动处理分块流程，直接调用即可跑通100GB级栅格的聚类。
• 该方案不会损失任何原始栅格信息，是优先选择的处理方式。

若确实需要将栅格压缩到1GB以下的处理方案 #

1. 重采样参数合理设置 #

栅格体积和像素总数成正比，你需要将像素总数压缩到原有的1/100左右：

• 分辨率调整为原分辨率的1/10即可：横纵分辨率各降10倍，总像素数降低100倍，刚好匹配体积压缩要求。
• 重采样方法选择：连续数值型栅格选平均重采样，分类型栅格选众数重采样，比默认的最近邻重采样信息损失低60%以上。

2. 搭配无损压缩进一步降低信息损失 #

不需要完全靠降分辨率凑体积，配合GDAL内置的无损压缩可以再降低30%~70%的文件体积，无需额外降低分辨率：

• 输出GTiff格式时添加压缩配置：R的writeRaster函数传入参数gdal=c("COMPRESS=DEFLATE", "PREDICTOR=2", "ZLEVEL=9")，Python的rasterio写入时配置compress='deflate'、predictor=2、zlevel=9，不会损失任何数据精度即可大幅缩小文件体积。

3. 冗余信息预处理降维 #

如果栅格栈存在多个高度相关的波段，先做PCA降维，保留累计解释度95%以上的主成分波段替代原始波段，可以再降低2~10倍的文件体积，信息损失极低。

注意事项 #

• memory.limit(size)调整方法仅适用于32位R环境，64位R环境中该参数已废弃，调整不会产生任何效果。
• 优先选择分块计算方案，不需要修改原始栅格数据，也不会产生信息损失，执行效率远高于先压缩再计算的流程。

内容的提问来源于stack exchange，提问作者uselessmoniker