在R中以int16数据类型写入NetCDF文件的问题排查

你的代码存在几个关键问题，导致文件大小未减小且未正确存储为int16类型：

1. 精度类型错误：prec="integer"对应32位整数（4字节），而你需要的是16位整数（2字节），应使用prec="short"。
2. 数据转换后被覆盖：你先将数据转为整数，但随后用浮点运算结果覆盖了转换后的整数数组，导致写入的仍是浮点数据（或被强制转为32位整数）。
3. 缺少缩放属性：未将scale_factor和add_offset添加到NetCDF变量的元数据中，读取文件时无法自动还原原始SPEI值，且NetCDF也无法利用这些属性优化存储。
4. 低效的数据处理：使用apply逐元素转换效率极低，应改用向量化运算。

修正后的代码 #

library(ncdf4)

# 加载数据数组
load("dataarray.RData")

# 从模板文件读取经纬度
file_nc_maxT1 <- nc_open("macav2metdata_PotEvap_bcc-csm1-1_r1i1p1_rcp45_2096_2099_CONUS_monthly.nc")
nclat <- as.numeric(ncvar_get(file_nc_maxT1,"lat"))
nclon <- as.numeric(ncvar_get(file_nc_maxT1,"lon"))
nc_close(file_nc_maxT1)

# 输出文件名
filename <- "macav2metdata_1-month_SPEI_bcc-csm1-1_r1i1p1_rcp45_1950_2099_CONUS_monthly-integer.nc"

# 定义维度
nx <- length(nclon)
ny <- length(nclat)
lon <- ncdim_def("lon", units = "degrees_east", longname = "longitude", vals = nclon)
lat <- ncdim_def("lat", units = "degrees_north", longname = "latitude", vals = nclat)
nctime <- seq(as.Date("1950-01-01"), as.Date("2099-12-31"), by="months")
time <- ncdim_def("time", units = "days since 1900-01-01 00:00:00", vals = as.numeric(nctime - as.Date("1900-01-01")))
mv <- -999

# 定义变量：使用prec="short"对应int16
var_spei <- ncvar_def(
  name = "SPEI",
  units = "1-month SPEI",
  dim = list(lon, lat, time),
  longname = "1-month Standardized Precipitation Evapotranspiration Index (SPEI)",
  missval = mv,
  prec = "short"  # 关键：指定16位整数存储
)

# 创建NetCDF文件
ncnew <- nc_create(filename, list(var_spei))

# 设置缩放元数据，确保读取时自动还原原始值
scale_factor <- 0.01
add_offset <- -5.0
ncatt_put(ncnew, var_spei, "scale_factor", scale_factor)
ncatt_put(ncnew, var_spei, "add_offset", add_offset)

# 数据转换：向量化运算，高效转为int16
dataarray_int <- (dataarray - add_offset) / scale_factor
# 替换缺失值为指定的mv
dataarray_int[is.na(dataarray_int)] <- mv
# 四舍五入后转为整数，确保精度符合两位小数要求
dataarray_int <- as.integer(round(dataarray_int))

# 写入数据到NetCDF文件
ncvar_put(ncnew, var_spei, dataarray_int)

# 关闭文件
nc_close(ncnew)
print("NC文件已创建")

关键优化点 #

• prec="short"：明确指定16位整数存储，每个值占2字节，相比原始浮点格式（4字节）可将文件大小减半（从5.48GB降至约2.7GB，配合NetCDF默认压缩可进一步缩小）。
• 元数据设置：添加scale_factor和add_offset后，大部分NetCDF工具会自动应用公式spei = scale_factor * x + add_offset还原原始值，无需手动计算。
• 向量化运算：替代低效的apply逐元素处理，大幅提升转换速度。
• 四舍五入处理：确保转换后的整数能准确还原到两位小数的SPEI值。

内容的提问来源于stack exchange，提问作者Prasad Thota