使用Xarray cfgrib引擎筛选含tcc变量的GRIB2文件并合并

要实现只合并包含tcc变量的.grib2文件，核心思路是先筛选出所有包含该变量的文件，再统一合并，避免因无tcc文件干扰导致的错误。以下是修正后的代码：

步骤1：筛选含tcc的文件 #

遍历文件夹中的所有.grib2文件，检查每个文件是否包含tcc变量，收集有效文件路径：

import os
import xarray as xr

# 替换为你的.grib2文件夹路径
folder_path = "/path/to/your/grib2_files"
valid_files = []

for filename in os.listdir(folder_path):
    if filename.endswith(".grib2"):
        file_path = os.path.join(folder_path, filename)
        try:
            # 尝试以tcc变量过滤打开文件，验证是否存在该变量
            with xr.open_dataset(file_path, engine="cfgrib", backend_kwargs={"filter_by_keys": {"shortName": "tcc"}}) as ds:
                if "tcc" in ds.variables:
                    valid_files.append(file_path)
        except Exception as e:
            # 跳过无tcc或无法解析的文件
            print(f"跳过文件 {filename}: {str(e)}")
            continue

步骤2：合并有效文件 #

使用xr.open_mfdataset合并所有筛选后的文件，确保只加载tcc变量并正确对齐维度：

if valid_files:
    # 合并文件，按坐标对齐（可根据数据结构调整concat_dim和combine参数）
    merged_ds = xr.open_mfdataset(
        valid_files,
        engine="cfgrib",
        backend_kwargs={"filter_by_keys": {"shortName": "tcc"}},
        combine="by_coords",
        concat_dim="time",  # 替换为你的数据主要维度，如step、latitude等
        join="outer"
    )
    print(f"合并完成！数据集包含 {len(merged_ds.time)} 个时间步长")
    # 可保存合并后的数据集
    # merged_ds.to_netcdf("merged_tcc_dataset.nc")
else:
    print("未找到包含`tcc`变量的.grib2文件")

关键说明 #

• 筛选逻辑：通过filter_by_keys直接过滤tcc变量，避免加载无关数据，同时验证文件是否包含该变量。
• 合并参数：combine="by_coords"确保按坐标自动对齐合并，concat_dim指定主要拼接维度（需根据你的数据实际情况调整，比如step或time）。
• 异常处理：捕获文件打开时的异常，跳过无效文件，避免程序中断。

内容的提问来源于stack exchange，提问作者William Jacondino