如何在dvc.yaml中动态使用生成的UUID变量避免解析失败？

问题根源在于：DVC执行dvc repro时会先预解析整个dvc.yaml文件，此时generate_uuid阶段还未运行，uuid.json不存在，导致training阶段的vars配置无法加载，直接触发解析错误。

下面提供两种可行的解决方法：

方案1：命令行动态读取生成的UUID（推荐） #

放弃vars字段，直接在training阶段的命令中读取已生成的uuid.json内容。这样DVC解析时只会将命令当作字符串处理，不会提前加载变量，等到generate_uuid执行完成后，training阶段才能读取到已存在的文件。

修改后的dvc.yaml：

stages: 
 generate_uuid:
    cmd: python generate_uuid.py
    deps:
      - generate_uuid.py
    outs:
      - uuid.json
 training:
    cmd: python train.py --run_name $(python -c "import json; print(json.load(open('uuid.json'))['uuid_var'])")
    deps:
      - uuid.json
      - train.py

方案2：使用DVC参数文件管理UUID #

将UUID写入params.yaml参数文件，让DVC通过参数依赖机制处理执行顺序：

1. 修改generate_uuid.py，直接将UUID写入params.yaml：

import uuid
import yaml

# 生成UUID
new_uuid = str(uuid.uuid4())

# 读取或创建params.yaml
try:
    with open('params.yaml', 'r') as f:
        params = yaml.safe_load(f) or {}
except FileNotFoundError:
    params = {}

# 更新UUID字段
params['run_uuid'] = new_uuid

# 写回文件
with open('params.yaml', 'w') as f:
    yaml.safe_dump(params, f)

2. 修改dvc.yaml，通过params字段引用UUID：

stages: 
 generate_uuid:
    cmd: python generate_uuid.py
    deps:
      - generate_uuid.py
    outs:
      - params.yaml
 training:
    cmd: python train.py --run_name ${run_uuid}
    deps:
      - train.py
    params:
      - run_uuid

核心注意事项 #

• 不要用vars字段引用未生成的文件：vars是DVC预解析阶段就会加载的内容，必须在解析时就存在。
• 确保依赖关系正确：training阶段必须依赖generate_uuid的输出文件，DVC才会保证先执行generate_uuid，再执行training。

内容的提问来源于stack exchange，提问作者Razor