Python内设置GRIB_DEFINITION_PATH对cfgrib无效的问题排查

问题描述 #

使用xarray搭配cfgrib加载GRIB文件时，需通过GRIB_DEFINITION_PATH环境变量为cfgrib的后端eccodes指定自定义GRIB定义。终端预先执行export设置该变量后运行脚本一切正常，但在代码内通过os.environ设置时，cfgrib会忽略该变量，执行时抛出KeyError: 'P'错误。

原复现代码（问题在于环境变量设置时机过晚）：

import xarray as xr
import os

grib_definitions_path = "/paths/to/definitions:/split/like/this"
os.environ["GRIB_DEFINITION_PATH"] = grib_definitions_path

grib_file = '/path/to/grib/file'
backend_args = {
    "filter_by_keys": {"shortName": "P"}
}
array = xr.open_dataset(grib_file, engine="cfgrib", encode_cf=("geography", "vertical"), backend_kwargs=backend_args)["P"]
print(array.dims)

原因分析 #

eccodes库在首次被导入时会读取GRIB_DEFINITION_PATH并缓存配置，后续通过os.environ修改该变量不会触发eccodes重新读取。原代码中先导入了xarray（间接导入cfgrib和eccodes），导致环境变量设置晚于eccodes初始化，修改无效。

解决方案 #

方案1：调整导入顺序，先设置环境变量 #

将环境变量设置代码放在所有依赖库导入之前，确保eccodes初始化时能读取到新变量：

import os

# 先设置环境变量，再导入xarray等依赖
grib_definitions_path = "/paths/to/definitions:/split/like/this"
os.environ["GRIB_DEFINITION_PATH"] = grib_definitions_path

import xarray as xr

grib_file = '/path/to/grib/file'
backend_args = {
    "filter_by_keys": {"shortName": "P"}
}
array = xr.open_dataset(grib_file, engine="cfgrib", encode_cf=("geography", "vertical"), backend_kwargs=backend_args)["P"]
print(array.dims)

方案2：通过子进程执行处理逻辑 #

若无法调整导入顺序，可启动子进程执行核心代码，子进程会继承当前进程的环境变量：

import os
import subprocess
import sys

grib_definitions_path = "/paths/to/definitions:/split/like/this"
os.environ["GRIB_DEFINITION_PATH"] = grib_definitions_path

# 子进程执行的代码
child_code = '''
import xarray as xr

grib_file = '/path/to/grib/file'
backend_args = {
    "filter_by_keys": {"shortName": "P"}
}
array = xr.open_dataset(grib_file, engine="cfgrib", encode_cf=("geography", "vertical"), backend_kwargs=backend_args)["P"]
print(array.dims)
'''

subprocess.run([sys.executable, "-c", child_code])

方案3：终端预先设置环境变量（已验证有效） #

保持原代码不变，在终端执行以下命令后再运行脚本：

export GRIB_DEFINITION_PATH="/paths/to/definitions:/split/like/this"
python your_script.py

内容的提问来源于stack exchange，提问作者tierriminator