NetCDF文件打开报[Errno -101] HDF错误，寻求解决方法

这问题我遇到过好几次，根源基本都是你的文件系统不支持HDF5默认的文件锁机制（比如NFS、分布式存储或者某些临时挂载的文件系统），而netCDF4底层依赖HDF5，所以触发了这个报错。结合你用h5py也报文件锁相关的错，直接给你几个可行的解决办法：

• 临时禁用HDF5全局文件锁
  最快的方式是在代码开头先设置环境变量，强制HDF5跳过锁检查：

  import os
  os.environ['HDF5_USE_FILE_LOCKING'] = 'FALSE'
  
  # 之后再调用xarray
  import xarray as xr
  xr.open_dataset(filename)
  

  或者你也可以在运行脚本前通过shell设置环境变量，这样不用改代码：

  export HDF5_USE_FILE_LOCKING=FALSE
  python your_script.py
  

• 针对xarray单独设置无锁打开
  如果你不想全局禁用锁，也可以在调用xr.open_dataset时直接传递lock=False参数，这个参数会透传给底层的netCDF4.Dataset：

  xr.open_dataset(filename, lock=False)
  

  这个方法更精准，只影响当前文件的打开行为。

• 排查文件与文件系统问题
  如果上面的方法都不管用，得确认下是不是文件本身损坏了：
  可以用HDF5工具集里的h5dump命令检查文件结构：

  h5dump file.nc
  

  如果这个命令也报错，那说明文件大概率损坏了，得重新获取或者修复。另外，如果是在网络文件系统（比如NFS）上，也可以联系管理员确认挂载选项是否有nolock这类会影响文件锁的设置。

之前代码正常运行的话，大概率是存储环境发生了变化（比如挂载方式调整、系统更新改变了HDF5的默认配置），前两种方法基本能解决绝大多数这类问题。

内容的提问来源于stack exchange，提问作者Florian