如何在已本地服务的MLFlow模型中更新数据工件？

核心思路：解耦参考数据与模型artifacts #

把参考数据从模型的artifacts中抽离，改为外部存储+动态加载模式，这样更新数据时无需重新打包部署模型。

方案1：固定本地路径加载 #

• 修改模型推理代码，让它从固定本地路径读取参考数据，而非从MLFlow artifacts内加载。例如将参考数据存放在/opt/ml/reference_data/latest/这类目录下。
• 每周更新数据时，直接替换该目录下的文件（建议先备份旧文件，再用原子性操作覆盖，比如Linux/macOS下用mv命令，避免读取到不完整的文件）。

方案2：本地缓存+定时自动拉取 #

• 在模型推理代码中加入定时检查逻辑：定期检测外部数据源（如本地共享文件夹、内部文件服务器）的参考数据版本，若有更新则自动拉取到本地缓存目录。
• 示例Python代码片段：

import os
import time
from datetime import datetime
import pandas as pd

REFERENCE_DATA_CACHE = "/opt/ml/cache/reference_data.csv"
REMOTE_DATA_SOURCE = "/mnt/shared/reference_data/latest.csv"
CHECK_INTERVAL = 3600  # 每小时检查一次

def load_reference_data():
    # 对比远程与本地文件的修改时间
    remote_mtime = os.path.getmtime(REMOTE_DATA_SOURCE)
    local_mtime = os.path.getmtime(REFERENCE_DATA_CACHE) if os.path.exists(REFERENCE_DATA_CACHE) else 0
    
    if remote_mtime > local_mtime:
        # 拉取并更新本地缓存
        with open(REMOTE_DATA_SOURCE, 'rb') as src, open(REFERENCE_DATA_CACHE, 'wb') as dst:
            dst.write(src.read())
        print(f"参考数据已更新：{datetime.now()}")
    
    # 加载数据到内存
    return pd.read_csv(REFERENCE_DATA_CACHE)

# 推理流程中调用
def predict(input_data):
    ref_data = load_reference_data()
    # 特征构建与推理逻辑
    ...

• 该方式无需手动干预，模型会自动同步最新数据，适合自动化需求高的场景。

方案3：环境变量传递数据路径 #

• 保留模型基础结构，通过环境变量传递参考数据的最新路径，而非硬编码在artifacts中。
• 修改模型的加载逻辑，读取环境变量REFERENCE_DATA_LOCATION，以此路径加载数据。
• 部署时配置好环境变量，每周更新数据后，仅需重启模型服务（无需重新打包部署），让环境变量指向新文件路径即可。例如用systemd部署时，修改服务配置中的环境变量，执行systemctl restart mlflow-model-service完成重启。

注意事项 #

• 做好数据版本管理，每次更新数据时记录版本号，便于问题排查。
• 若模型为多实例部署，需确保所有实例能访问到同一数据源（如使用共享存储）。
• 新数据上线前先在测试环境验证，避免影响线上服务。

内容的提问来源于stack exchange，提问作者DavBar