如何批量读取含多组的NC文件并提取变量均值存入CSV

问题原因 #

xarray.open_dataset() 默认仅读取NC文件的根组，如果变量存储在子组内，自然会返回空数据集。要读取子组内的变量，需要明确指定组名或遍历所有子组。

完整实现代码 #

import xarray as xr
import pandas as pd
import os

def process_nc_file(file_path):
    """处理单个NC文件，提取所有组中albedo的均值"""
    result = []
    # 打开NC文件，不立即加载数据到内存
    with xr.open_dataset(file_path, engine='h5netcdf') as ds_root:
        # 获取所有子组名称（排除根组）
        groups = [g for g in ds_root.groups if g != '/']
        for group_name in groups:
            # 读取指定子组数据
            ds_group = ds_root[group_name]
            # 检查组内是否存在albedo变量，避免报错
            if 'albedo' in ds_group.variables:
                # 计算albedo均值，转为Python基础类型
                albedo_mean = ds_group['albedo'].mean().item()
                result.append({
                    'filename': os.path.basename(file_path),
                    'group': group_name,
                    'albedo_mean': albedo_mean
                })
    return result

# 替换为你的NC文件所在目录
nc_dir = '/path/to/your/nc/files'
# 筛选目录下所有NC文件
nc_files = [os.path.join(nc_dir, f) for f in os.listdir(nc_dir) if f.endswith('.nc')]

# 批量处理所有文件，收集结果
all_results = []
for file in nc_files:
    all_results.extend(process_nc_file(file))

# 转换为DataFrame并保存为CSV
df = pd.DataFrame(all_results)
df.to_csv('albedo_group_means.csv', index=False)

关键说明 #

• 依赖h5netcdf引擎：NC文件本质是HDF5格式，该引擎对组结构的支持更完善，需提前安装（执行pip install h5netcdf）。
• 内存友好：用with语句自动管理文件资源，xarray默认延迟加载数据，不会一次性把300个文件全部读进内存。
• 容错处理：增加了变量存在性判断，避免部分组无albedo变量导致程序中断。

内容的提问来源于stack exchange，提问作者DAS