Databricks中如何保存训练好的逻辑回归模型以跨Notebook调用

在gaming Notebook中保存训练完成的模型 #

你可以通过两种常用方式序列化模型对象，方便后续调用：

方法1：使用pickle模块 #

import pickle

# 将训练好的log_test_var模型保存到本地文件
with open('logreg_trained_model.pkl', 'wb') as model_file:
    pickle.dump(log_test_var, model_file)

方法2：使用joblib模块（更适合sklearn模型，处理大模型效率更高） #

# 根据你的sklearn版本，选择导入方式
from sklearn.externals import joblib
# 或直接：import joblib

# 保存模型
joblib.dump(log_test_var, 'logreg_trained_model.joblib')

在clean_text Notebook中加载模型并执行预测 #

对应pickle的加载方式 #

import pickle

# 加载保存的模型
with open('logreg_trained_model.pkl', 'rb') as model_file:
    log_test_var = pickle.load(model_file)

# 执行预测操作
y_pred = log_test_var.predict(X)

对应joblib的加载方式 #

from sklearn.externals import joblib
# 或直接：import joblib

# 加载模型
log_test_var = joblib.load('logreg_trained_model.joblib')

# 执行预测操作
y_pred = log_test_var.predict(X)

注意事项 #

• 确保两个Notebook处于同一工作目录，若不在则需指定模型文件的完整路径（比如'/home/user/notebooks/logreg_trained_model.pkl'）
• 保存和加载必须使用同一模块（pickle或joblib），避免兼容性问题
• clean_text Notebook中需提前导入必要的依赖库（如sklearn相关模块），否则加载模型可能抛出异常

内容的提问来源于stack exchange，提问作者Giorgi