MLFlow如何追踪实验所用数据集？新手技术咨询

刚接触MLFlow不用纠结术语，这是个很常见的问题——确实没必要存储完整数据集，下面是几种低成本又有效的数据集追踪方案：

1. 记录数据集核心标识元信息 #

用mlflow.log_param()直接记录能唯一定位数据集的信息，比如版本号、哈希值、存储路径，这样在UI里一眼就能对应到实验用的具体数据集：

import pandas as pd
import hashlib
import mlflow

# 加载数据集
df = pd.read_csv("train_data_v2.csv")
# 生成数据集哈希值（确保内容变更时能被识别）
data_hash = hashlib.md5(df.to_csv().encode()).hexdigest()

# 记录关键元信息
mlflow.log_param("dataset_version", "v2")
mlflow.log_param("dataset_hash", data_hash)
mlflow.log_param("dataset_path", "./data/train_data_v2.csv")

2. 使用MLFlow Dataset API（推荐） #

MLFlow专门提供了Dataset模块，能自动生成数据集的指纹（哈希）、关联来源路径，还能附加上下文（比如是训练集还是测试集），完全不用存完整数据：

import mlflow.data
import pandas as pd

df = pd.read_csv("train_data_v2.csv")
# 创建Dataset对象并指定来源
dataset = mlflow.data.from_pandas(df, source="./data/train_data_v2.csv")
# 将数据集关联到当前实验，标记上下文为训练
mlflow.log_input(dataset, context="training")

之后在MLFlow UI的实验详情页，你能看到Inputs板块，点击进去就能看到数据集的指纹、来源、基础统计信息，精准对应实验和数据集的关联关系。

3. 上传数据集统计摘要（可选补充） #

如果需要快速了解数据集特征，可以生成统计摘要文件（比如样本量、均值、分位数），作为工件上传到MLFlow，既不占空间又能提供参考：

df = pd.read_csv("train_data_v2.csv")
# 生成统计摘要并保存为JSON
stats = df.describe().to_json(indent=2)
with open("dataset_stats.json", "w") as f:
    f.write(stats)
# 上传到MLFlow artifacts
mlflow.log_artifact("dataset_stats.json")

这些方案的核心逻辑都是用唯一标识或元信息替代完整数据集存储，既解决了实验与数据集的追踪关联问题，又避免了大量磁盘空间占用，你可以根据项目复杂度选择合适的方式。

内容的提问来源于stack exchange，提问作者KansaiRobot