Dask跨节点使用NFS共享数据时出现同步读取IO错误

以下是导致该错误的核心原因：

• 符号链接跨节点解析失效：系统A上创建的符号链接指向的是A本地的/home/steffan/raw_sarez2017_desc路径，但系统B的Worker在解析这个链接时，会默认去访问B自身节点的/home/steffan/...目录，而非NFS共享的对应路径。符号链接的解析是本地节点层面的操作，跨节点后路径指向的资源在B节点上不存在或无法访问，直接触发IO错误。

• NFS挂载与路径不匹配：

  • 若系统B的NFS挂载路径与A节点的符号链接目标路径不一致，比如A的NFS卷挂载在/mnt/nfs/raw_data，但符号链接指向本地的/home/steffan/raw_sarez2017_desc，B节点的Worker会按照传递的绝对路径去本地查找，而非NFS挂载点，导致文件找不到。
  • NFS权限配置问题：B节点的Worker进程所属用户（如steffan）可能没有NFS共享目录的读权限，或者NFS服务器端的export配置未允许B节点访问该共享卷，导致读取操作被拒绝。

• Dask任务的路径传递逻辑：当A节点的Worker向B节点分发任务时，传递的是A节点本地的绝对文件路径（包含符号链接解析后的路径），而这个路径在B节点上并非NFS共享的挂载路径，B的Worker无法通过该路径定位到共享文件，进而触发读取失败。

验证方法 #

• 在系统B上执行ls -l /home/steffan/raw_sarez2017_desc，查看符号链接指向的是否为NFS挂载的实际路径，而非B本地目录。
• 直接通过NFS挂载的真实路径（如/mnt/nfs/raw_sarez2017_desc/S1_20170511_ALL_F2.grd）尝试读取文件，验证是否能正常访问。

内容的提问来源于stack exchange，提问作者Steffan