Azure ML挂载数据存储异常：os.path.exists与os.makedirs结果矛盾

问题背景 #

• 拥有运行超2年的Azure ML工作区及对应数据存储（Datastore 1）
• 通过ADF递归复制Datastore 1对应容器的全部内容到新存储容器，配置为Datastore 2，二者文件层级完全一致
• 在Datastore 2上运行实验时出现矛盾异常：
  • os.path.exists(dataset_store)返回False（dataset_store为output_dir_ref中的路径）
  • 基于上述判断执行os.makedirs(dataset_store)时，抛出错误：

    FileExistsError: [Errno 17] File exists: '/mnt/batch/tasks/shared/LS_root/jobs/i...2/azureml/hd_8.._7/mounts/files/azureml_model/csvs/csvs_from_random_split/'

• 运行前存在警告：datastore.as_mount" is deprecated after version 1.0.69. Please use "file_dataset.as_mount

原因分析 #

1. 挂载异步延迟：Azure ML的Datastore挂载是异步执行的，os.path.exists判断时挂载可能未完全完成，导致误判路径不存在；但执行os.makedirs时挂载已完成，目标路径实际已存在，引发冲突。
2. 废弃API兼容性问题：使用已废弃的datastore.as_mount()，新版本SDK中该API的挂载逻辑存在兼容性偏差，尤其在复制后的Datastore中，元数据或挂载行为不一致。
3. ADF复制元数据残留：ADF递归复制时可能保留原容器的特殊元数据或目录标记，导致Azure ML挂载后，本地文件系统对目录存在状态的判断出现误差。

解决方案 #

1. 替换废弃的挂载API #

使用SDK推荐的FileDataset.as_mount()替代datastore.as_mount()，确保挂载逻辑符合最新规范：

from azureml.core import Workspace, Datastore
from azureml.data import OutputFileDatasetConfig, FileDataset

ws = Workspace.from_config(args.workspace_config)
datastore = Datastore(ws, args.datastore)

# 创建FileDataset指向Datastore根目录，使用推荐的挂载方式
file_dataset = FileDataset.from_files(path=(datastore, '/'))
root_dir_ref = file_dataset.as_mount()

output_dir_ref = OutputFileDatasetConfig(destination=(datastore, output_path))

2. 优化目录创建逻辑 #

避免依赖os.path.exists的判断，改用异常捕获或SDK内置处理：

方法1：捕获FileExistsError跳过创建

import os

try:
    os.makedirs(dataset_store)
except FileExistsError:
    print(f"目录 {dataset_store} 已存在，跳过创建")

方法2：直接使用SDK输出目录（无需手动创建）

利用OutputFileDatasetConfig的抽象层，SDK会自动处理目录创建：

# 直接获取挂载路径，SDK负责目录初始化
dataset_store = output_dir_ref.as_mount()
# 后续业务逻辑直接使用该路径即可

3. 额外优化建议 #

• 升级Azure ML SDK到最新稳定版本，彻底规避废弃API的兼容性问题。
• 检查Datastore 2的服务主体权限，确保拥有读写目标容器的完整权限。
• 尽量使用Azure ML数据集的抽象层操作路径，减少直接调用本地文件系统API的场景。

内容的提问来源于stack exchange，提问作者amy8374