创建dask.distributed客户端后xarray.open_mfdataset()挂起问题求助

问题描述 #

在AWS Pangeo Cloud上运行Notebook，通过s3fs调用xr.open_mfdataset()读取S3存储的GOES-16卫星数据，未启用Dask时程序运行正常，数分钟即可完成数据集构建。但在打开文件前先创建dask.distributed客户端后，open_mfdataset会出现永久挂起无响应的问题。

排查与修复步骤 #

• 认证信息同步问题排查：本地Notebook环境初始化的s3fs实例默认不会将认证信息序列化传递给Dask Worker，Worker节点访问S3时无权限会触发无限重试，直接导致任务挂起。无需提前创建全局s3fs实例，直接将S3访问配置通过backend_kwargs传入即可，让每个Worker自行初始化文件系统实例，示例代码：

import xarray as xr

ds = xr.open_mfdataset(
    "s3://<你的桶路径>/*.nc",
    engine="h5netcdf",
    backend_kwargs={
        "storage_options": {
            "anon": False,
            "region_name": "us-east-1"
        }
    },
    chunks={"time": 1}, # 可根据实际数据规模调整分块大小
    combine="by_coords",
    parallel=True
)

• S3限流与并发配置调整：启用分布式客户端后，open_mfdataset默认会提交大量并发读取任务到Worker，极易触发S3的请求限流，导致请求超时卡住。可以通过Dask配置限制并发读取数，同时将连接超时时间改短避免无限挂起：

import dask
dask.config.set({
    "distributed.comm.timeouts.connect": "30s",
    "distributed.worker.daemon": False
})

• Worker权限校验：确认Dask集群的Worker执行角色已绑定S3访问权限，不要依赖Notebook实例的本地环境变量传递凭证，必要时可以在创建客户端时统一注入AWS相关环境变量到所有Worker节点。
• 日志调试：打开Dask Dashboard的任务日志面板，查看卡住的任务具体报错信息，可快速定位是权限问题、网络问题还是数据读取逻辑问题。

内容的提问来源于stack exchange，提问作者lsterzinger