基于Flask部署商品部门销量预测模型的编码问题及代码修正请求

核心结论 #

不需要重新训练模型或重做OneHot Encoding，但必须保存训练时使用的OneHotEncoder实例，预测/部署时用同一个编码器对输入字符串做转换，保证编码规则和训练阶段完全一致。

问题根源 #

你训练时用OneHotEncoder把分类特征（比如部门列的'Beef'）转换成了数值型独热向量，但预测时直接把原始字符串输入模型，模型无法识别字符串类型；同时如果没复用训练时的编码器，新编码的特征维度/顺序可能和训练集不匹配，最终触发类型转换错误。

修正后的完整代码 #

1. 训练阶段：保存模型和OneHotEncoder #

import pandas as pd
from sklearn.tree import DecisionTreeRegressor
from sklearn.preprocessing import OneHotEncoder
import pickle

# 加载训练数据（替换为你的实际数据路径）
df = pd.read_csv('train_data.csv')

# 定义分类特征和数值特征
cat_features = ['部门']
num_features = ['销量']

# 初始化并拟合OneHotEncoder（保持和训练时一致的参数）
encoder = OneHotEncoder(sparse_output=False, drop='first')
encoded_cat = encoder.fit_transform(df[cat_features])

# 拼接编码后的分类特征与数值特征
encoded_features = pd.concat(
    [
        pd.DataFrame(encoded_cat, columns=encoder.get_feature_names_out(cat_features)),
        df[num_features].reset_index(drop=True)
    ],
    axis=1
)

# 训练决策树模型
X = encoded_features
y = df['销售额']  # 替换为你的目标列名称
model = DecisionTreeRegressor()
model.fit(X, y)

# 保存编码器和模型到本地文件
with open('onehot_encoder.pkl', 'wb') as f:
    pickle.dump(encoder, f)

with open('dt_model.pkl', 'wb') as f:
    pickle.dump(model, f)

2. Flask部署阶段：加载编码器和模型，处理用户输入 #

from flask import Flask, request, jsonify
import pickle
import pandas as pd

app = Flask(__name__)

# 加载预保存的编码器和模型
with open('onehot_encoder.pkl', 'rb') as f:
    encoder = pickle.load(f)

with open('dt_model.pkl', 'rb') as f:
    model = pickle.load(f)

@app.route('/predict', methods=['POST'])
def predict():
    # 获取用户输入的JSON数据，示例格式：{"部门": "Beef", "销量": 150}
    input_data = request.get_json()
    
    # 将输入转换为DataFrame，确保特征顺序与训练时一致
    input_df = pd.DataFrame([input_data])
    
    # 用训练好的编码器对分类特征做转换（仅transform，不重新fit）
    encoded_cat = encoder.transform(input_df[encoder.feature_names_in_])
    encoded_cat_df = pd.DataFrame(encoded_cat, columns=encoder.get_feature_names_out())
    
    # 拼接数值特征
    num_features = [col for col in input_df.columns if col not in encoder.feature_names_in_]
    encoded_input = pd.concat(
        [encoded_cat_df, input_df[num_features].reset_index(drop=True)],
        axis=1
    )
    
    # 执行预测并返回结果
    prediction = model.predict(encoded_input)
    return jsonify({"预测结果": round(prediction[0], 2)})

if __name__ == '__main__':
    app.run(debug=True)

关键反馈与注意事项 #

• 编码器与模型必须配套：绝对不能在预测时重新初始化OneHotEncoder并fit新数据，否则编码规则会和训练集不一致，导致模型预测失效。
• 输入特征要严格匹配：用户输入的特征名称、类型必须和训练集完全一致，比如训练时用的是'部门'列，输入就不能写成'品类'。
• 添加输入校验：建议在Flask接口中增加异常处理，比如检查输入的'部门'是否属于训练时出现过的类别（可通过encoder.categories_获取训练时的所有合法类别），避免未知类别导致编码器报错。
• 生产环境安全：pickle序列化存在安全风险，生产部署时避免加载不可信的pickle文件，也可以考虑用Joblib替代pickle（针对scikit-learn模型更高效）。
• 本地测试验证：部署前先在本地用训练集中的样本输入接口，验证预测结果和训练时的输出是否一致，确保流程无问题。

内容的提问来源于stack exchange，提问作者abc777