使用tox执行测试时读取NetCDF文件出现HDF错误

问题概述 #

• 代码在NetCDF4格式读写、数据分析环节完全正常
• 仅在Linux环境下执行tox -e py311-test-alldeps时触发大量HDF/系统错误
• MacOS（M1）执行同一条tox命令无异常；在与tox依赖版本完全一致的全新conda环境中用pytest直接跑测试，所有架构均正常
• 已尝试在tox.ini的setenv中设置HDF5_USE_FILE_LOCKING=FALSE，无效

排查与解决方案 #

1. 检查tox隔离环境的文件系统权限与临时目录 #

Linux下tox默认的临时目录（如/tmp）可能存在挂载属性限制（如noexec、nodev），导致HDF5无法创建临时文件或共享内存对象。

• 在tox.ini中指定自定义临时目录：

  [testenv:py311-test-alldeps]
  setenv =
      TMPDIR={envtmpdir}/hendrics_test
  

• 确保tox运行用户对测试生成的NetCDF/HDF文件所在目录拥有完整读写权限

2. 强制HDF5使用单线程模式 #

Linux多线程环境中，HDF5的线程安全设置可能在tox隔离环境中失效，尝试禁用多线程：

[testenv:py311-test-alldeps]
setenv =
    HDF5_DISABLE_VERSION_CHECK=1
    HDF5_USE_THREADSAFE=0

3. 切换tox虚拟环境创建方式 #

尝试让tox使用conda创建虚拟环境，避免pip编译依赖时的系统库冲突：

[testenv:py311-test-alldeps]
basepython = python3.11
usedevelop = true
deps =
    -rrequirements-test.txt
    netcdf4
    h5py
commands =
    pytest tests/

确保所有依赖通过conda安装，而非pip编译安装。

4. 修复测试用例的文件句柄残留 #

检查测试用例是否存在未正确关闭的NetCDF/HDF文件句柄，Linux+tox环境下资源回收机制差异可能导致锁残留：

import netCDF4 as nc
import os

def test_netcdf_operation():
    # 使用上下文管理器确保文件自动关闭
    with nc.Dataset("test_file.nc", "w") as ds:
        # 执行测试操作
        pass
    # 显式删除测试文件
    os.remove("test_file.nc")

5. 固定依赖版本到兼容组合 #

尝试固定h5py、netCDF4和numpy的版本到已知兼容的组合，避免最新版本的Linux特定兼容性问题：

[testenv:py311-test-alldeps]
deps =
    h5py==3.10.0
    netCDF4==1.6.5
    numpy==1.26.4
    -rrequirements-test.txt

内容的提问来源于stack exchange，提问作者matteo