MLflow数据集管理与追踪疑问：数据集与训练运行的关联逻辑

1. 数据集不会被保存为单独的Run #

你提供的代码里，mlflow.start_run()启动的是一个普通的MLflow Run，mlflow.log_input(dataset, context="training")只是把数据集的**元数据（来源URL、内容摘要、schema、数据概览等）**关联到这个Run上，并不会为数据集创建单独的Run。这个Run依然是你用来追踪实验（比如模型训练）的载体，数据集只是作为该实验的输入被记录。

2. 如何关联模型训练Run与数据集 #

直接在模型训练的Run生命周期内调用mlflow.log_input()即可完成关联：

• 先创建Dataset对象（比如用mlflow.data.from_pandas()处理你的训练数据）
• 在with mlflow.start_run():代码块里，执行模型训练逻辑的同时，调用mlflow.log_input(dataset, context="training")
• 这样训练Run的元数据里就会包含数据集的关联信息，后续可以通过Run查询到对应的数据集详情

如果多个训练Run使用同一个数据集，MLflow会通过数据集的digest（内容哈希值）自动识别为同一数据集，无需额外操作，所有关联的Run都会指向这个数据集的元数据。

3. MLflow中管理数据集的核心方式 #

- 元数据追踪 #

通过mlflow.data模块的from_pandas()/from_numpy()等方法，将原始数据包装成MLflow Dataset对象，自动生成并记录：

• 数据源位置（URL、本地路径、云存储路径等）
• 内容摘要（digest，用于识别数据唯一性）
• 数据schema（字段类型、结构）
• 数据概览（profile，比如统计量、缺失值情况）

- 版本化关联 #

如果你的数据集采用版本化存储（比如Delta Lake、带版本的对象存储路径），可以在创建Dataset时指定版本化的source路径，MLflow会记录该版本信息，方便后续回溯到训练时使用的具体数据版本。

- 统一加载 #

通过mlflow.data.get_source(dataset_info).load()方法，可以从记录的数据源位置一键加载数据集，不管数据源是网络URL、本地文件还是云存储，都能统一处理，简化复现实验的流程。

- 跨Run复用识别 #

MLflow通过dataset的digest来判断数据是否相同，即使不同Run记录同一个数据集，也只会存储一份元数据，避免冗余，同时能快速找到所有使用该数据集的实验Run。

内容的提问来源于stack exchange，提问作者Mehran