合并NetCDF与HDF5文件，寻求更优实现方案

你的当前方案需要把数据全量转成字典再导出，在处理大文件时容易出现内存溢出，还可能丢失原文件的元数据（比如变量属性、维度信息）。下面两种方案更高效：

方案1：用xarray一站式处理（简洁首选） #

xarray专门为科学数据设计，原生支持NetCDF和HDF5格式，能直接读取、合并数据，全程无需转字典，还支持配合dask实现延迟加载，轻松处理超大文件。

import xarray as xr

# 读取两个输入文件
ds_netcdf = xr.open_dataset("input_data.nc")
ds_hdf5 = xr.open_dataset("input_data.h5")

# 合并数据集：根据需求选合并方式
# 若变量维度一致，合并所有变量
merged_ds = xr.merge([ds_netcdf, ds_hdf5])
# 若需按维度拼接（比如时间序列），用concat
# merged_ds = xr.concat([ds_netcdf, ds_hdf5], dim="time")

# 导出为HDF5格式（NETCDF4本质是HDF5兼容格式，也可直接用to_hdf）
merged_ds.to_netcdf("merged_output.h5", format="NETCDF4")
# 或者用to_hdf（适合非标准科学数据结构）
# merged_ds.to_hdf("merged_output.h5", key="combined_data")

方案2：用h5py+netCDF4直接操作文件对象（低内存刚需） #

如果文件体积极大，不想把数据全加载到内存，可以直接操作文件句柄，逐变量/组复制，内存占用仅为单变量的大小：

import h5py
from netCDF4 import Dataset

# 创建目标HDF5文件（写入模式）
with h5py.File("merged_output.h5", "w") as h5_target:
    # 读取NetCDF文件并复制内容到HDF5
    with Dataset("input_data.nc", "r") as nc_source:
        # 复制所有变量
        for var_name in nc_source.variables:
            var = nc_source.variables[var_name]
            # 写入数据集（可添加chunks参数实现分块存储）
            h5_ds = h5_target.create_dataset(var_name, data=var[:])
            # 复制变量属性
            for attr in var.ncattrs():
                h5_ds.attrs[attr] = var.getncattr(attr)
        # 复制全局属性
        for attr in nc_source.ncattrs():
            h5_target.attrs[attr] = nc_source.getncattr(attr)
    
    # 读取源HDF5文件并递归复制所有组和数据集
    with h5py.File("input_data.h5", "r") as h5_source:
        def copy_h5_content(source_group, target_group):
            for name, obj in source_group.items():
                if isinstance(obj, h5py.Dataset):
                    new_ds = target_group.create_dataset(name, data=obj)
                    # 复制数据集属性
                    for attr in obj.attrs:
                        new_ds.attrs[attr] = obj.attrs[attr]
                elif isinstance(obj, h5py.Group):
                    new_group = target_group.create_group(name)
                    copy_h5_content(obj, new_group)
        copy_h5_content(h5_source, h5_target)

为什么这两种方案更好？ #

• 内存效率高：不需要把全量数据加载到内存，尤其是方案2，适合TB级大文件
• 保留元数据：原文件的变量属性、维度信息、全局注释都会完整保留，这对科学数据分析至关重要
• 速度更快：减少了字典转换的中间开销，直接对文件进行读写操作

内容的提问来源于stack exchange，提问作者Niandra Lades