如何从Minio正确读取Zarr文件?三种方法均失败求排查
从Minio(S3兼容)读取大型Zarr文件失败求助
问题概述
需从Minio(S3兼容)服务器读取大型Zarr文件,尝试三种读取方法均未成功,具体细节如下:
尝试的读取代码
import hydrodata.configs.config as conf # 方法1 zarr_path = await conf.FS.open_async('s3://datasets-origin/usgs_streamflow_nldas_hourly.zarr') zds = xr.open_dataset(zarr_path, engine='zarr') # 方法2 zarr_path = conf.FS.get_mapper('s3://datasets-origin/usgs_streamflow_nldas_hourly.zarr') wrapped_store = zarr.storage.KVStore(zarr_path) zds = xr.open_zarr(wrapped_store) # 方法3(报错:AttributeError: __enter__) with conf.FS.open_async('s3://datasets-origin/usgs_streamflow_nldas_hourly.zarr') as zarr_path: zds = xr.open_dataset(zarr_path)
S3FileSystem配置
conf.FS的初始化代码如下:
FS = s3fs.S3FileSystem( client_kwargs={"endpoint_url": MINIO_PARAM["endpoint_url"]}, key=MINIO_PARAM["key"], secret=MINIO_PARAM["secret"], use_ssl=False, )
关键报错信息
方法2执行时触发如下错误:
name = 'xarray.core.daskmanager' import_ = <function _gcd_import at 0x7fe2aabbb400> > ??? E ModuleNotFoundError: No module named 'xarray.core.daskmanager'
方法3执行时直接报错:AttributeError: __enter__
已完成的依赖安装操作
已执行以下命令安装相关依赖:
pip install xarray[complete]conda install -c conda-forge xarray dask netCDF4 bottleneck
已生成完整的pip依赖列表,确认相关包已安装,但问题仍未解决。
求可行的解决方法。
内容的提问来源于stack exchange,提问作者forestbat
相关产品推荐
相关产品推荐

