合并多时段netCDF格式气象数据集多次尝试失败,寻求可行解决方案
ERA5-Land逐小时气温netCDF文件合并可行方案
方案1:xarray+Dask分块合并(解决内存溢出&依赖冲突问题)
- 先通过conda安装无冲突依赖,避免pip安装netCDF4的依赖问题,执行命令:
conda install -c conda-forge xarray netcdf4 dask - 采用懒加载分块处理逻辑,不需要将全量数据加载到内存,8G内存即可完成处理,参考代码:
import xarray as xr # 传入三个待合并的文件路径,按时间维度分块加载 ds_merged = xr.open_mfdataset( ["era5land_t2m_1981_1990.nc", "era5land_t2m_1991_2000.nc", "era5land_t2m_2001_2010.nc"], chunks={"time": 720}, # 按1个月的小时数据为分块单位,可根据自身内存大小调整 combine="nested", concat_dim="time" ) # 直接写入合并后的文件,Dask会自动分块计算,无需占用超额内存 ds_merged.to_netcdf("era5land_t2m_1981_2010_merged.nc")
方案2:NCO命令行拼接(解决ncrcat语法报错问题)
ncrcat是独立的命令行工具,不能在Python交互环境中运行,可通过conda安装原生Windows版本后直接在PowerShell/CMD中执行:
- 安装NCO:
conda install -c conda-forge nco - 执行合并命令:
ncrcat era5land_t2m_1981_1990.nc era5land_t2m_1991_2000.nc era5land_t2m_2001_2010.nc era5land_t2m_merged.nc
该方案无需编码,处理速度最快,不会触发内存溢出问题。
方案3:CDO命令行合并(解决数值转换报错问题)
之前Cygwin下CDO报错是因为默认数值类型转换逻辑和源文件不匹配,添加参数指定数据类型即可解决,也可直接安装Windows原生CDO避免Cygwin环境兼容性问题:
- 安装CDO:
conda install -c conda-forge cdo - 执行合并命令,指定使用和源文件一致的32位浮点数类型:
cdo -b F32 mergetime era5land_t2m_1981_1990.nc era5land_t2m_1991_2000.nc era5land_t2m_2001_2010.nc era5land_t2m_merged.nc
前置检查项
合并前可通过ncdump -h 单个文件路径查看文件头信息,确认三个文件的变量名、空间坐标维度、单位完全一致,避免因下载参数差异导致的合并错误。
内容的提问来源于stack exchange,提问作者Brian
相关产品推荐
相关产品推荐

