Azure ML作业能否识别版本不变但内容变更的数据集？

核心结论 #

Azure ML作业默认不会自动检测未版本化数据集的内容变更——即便数据集版本固定为v1，只要作业定义的核心要素未发生变化，系统会优先复用历史运行结果，不会主动校验底层存储的数据内容。

作业复用的判定标准 #

Azure ML通过计算作业定义的哈希值来判定是否可复用，对比范围涵盖：

• 输入数据集的引用标识（如数据集ID、版本号，而非实际存储的文件内容）
• 代码文件的内容哈希
• 运行环境配置（conda依赖清单、Docker镜像版本等）
• 计算目标规格
• 超参数、命令行参数、脚本参数

只有当上述任一要素发生变化时，作业哈希值才会改变，触发新的运行；若哈希值与历史作业完全一致，无论底层数据是否变更，都会直接复用结果。

适配你的业务场景的解决方案 #

针对「每日处理未版本化数据，数据变更则重运行、未变更则复用」的需求，可通过以下方式实现：

• 自定义数据哈希校验
  在作业启动前编写预处理脚本，遍历目标存储路径下的所有文件，计算整体哈希值（可基于文件内容MD5、修改时间戳组合生成），将该哈希值作为作业的参数传入。当数据内容/结构变化时，哈希值改变，作业定义的哈希值随之更新，触发重运行；数据未变则复用历史结果。
• 动态数据集快照
  每日运行前检查存储内容是否变更，若有变化则创建数据集的临时版本（或快照）作为作业输入；若无变化则沿用原版本。通过数据集版本的变更触发作业重运行，同时保留复用能力。
• 强制禁用复用
  提交作业时通过CLI添加--disable-reuse参数，或在SDK中设置enable_reuse=False，强制每次运行都重新执行。此方式会牺牲复用效率，适合数据高频变更的场景。

关于测试结果波动的推测 #

你遇到的「有时重运行、有时复用」的情况，大概率是因为期间修改了作业定义的某个要素（如代码文件、环境配置、传入参数等），导致作业哈希值变化，触发了新运行；后续这些要素稳定后，作业哈希值与历史记录一致，系统便开始复用结果，这一过程与底层数据的变更无关。

内容的提问来源于stack exchange，提问作者Mahelita