LogisticRegression分类模型概率计算异常及dtype='numeric'数据转换错误求助

我现在用LogisticRegression构建分类模型，已经能得到预测结果："Prediction LR": "['AnxiousPersonalityDisorder']"，但计算预测概率的时候踩了不少坑，还碰到了报错：

"Unable to convert array of bytes/strings into decimal numbers with dtype='numeric'"

下面是我在Colab里的训练代码和FastAPI部署代码，麻烦帮忙找找问题根源！

训练代码（Colab笔记本） #

x = df.text.values.tolist()
y = df.label.values.tolist()
vectorizer = CountVectorizer()
data1 = vectorizer.fit_transform(x)
x_train, x_test, y_train, y_test = train_test_split(data1, y, test_size=0.2, random_state=32,stratify=y)
# 训练模型
lr = LogisticRegression(random_state=40)
lr.fit(x_train, y_train)
y_pred_train = lr.predict(x_train)
y_pred_test = lr.predict(x_test)

FastAPI部署代码 #

class EmotionAdoPrediction():
    def __init__(self):
        # Note: for model_path you should make full path (see docker volume)
        self.vector = load("C:/Users/aabid/PycharmProjects/emotion-detection-multilabels/model1/Lrvector.joblib")
        self.model = load("C:/Users/aabid/PycharmProjects/emotion-detection-multilabels/model1/LRClassifier.joblib")
        self.classes_names = {0: ["angry"], 1: ["joy"], 2: ["sadness"], 3: ["fear"]}
        return
    def predict(self, text):
        text = self.data_cleaning(text)
        text_clean = self.standardization(text)
        probs = self.model.predict([[text_clean]])[:, 1]
        proba = np.max(probs[0])
        class_ind = np.argmax(probs[0])
        return self.classes_names[class_ind], proba

问题根源与修复方案 #

咱先逐个拆解问题：

1. 最直接的报错原因：输入格式完全错误 #

训练时你用CountVectorizer()把文本转换成了数值型稀疏特征矩阵，但部署时你直接把清洗后的字符串text_clean用[[text_clean]]丢给了模型——模型根本不认识纯字符串，它只接受训练时一样格式的数值特征，这就是报错无法将字符串转成数值类型的核心原因。

2. 获取概率的方法用错了 #

model.predict()返回的是类别标签，不是概率！要获取每个类别的预测概率，你得用model.predict_proba()方法。而且你写的[:, 1]是二分类场景下取正类概率的写法，但从你的类别映射看是多分类，这逻辑完全不匹配。

3. 类别映射和训练时完全不对应 #

训练时预测结果是AnxiousPersonalityDisorder，但部署里的classes_names却是angry/joy/sadness/fear，这说明你要么保存了错误的模型，要么手动写的类别映射和训练数据的标签完全对不上，最后返回的结果肯定是错的。

修正后的部署代码示例 #

import numpy as np
from joblib import load

class EmotionAdoPrediction():
    def __init__(self):
        self.vector = load("C:/Users/aabid/PycharmProjects/emotion-detection-multilabels/model1/Lrvector.joblib")
        self.model = load("C:/Users/aabid/PycharmProjects/emotion-detection-multilabels/model1/LRClassifier.joblib")
        # 直接用模型自带的classes_属性获取训练时的类别，避免手动写错
        self.classes_names = self.model.classes_
        # 如果训练时的label是编码后的数字，再手动映射成对应的名称，比如：
        # self.classes_names = {0: "AnxiousPersonalityDisorder", 1: "...", ...}
        return
    
    def data_cleaning(self, text):
        # 这里补充你的实际清洗逻辑（比如去除特殊字符、停用词等）
        return text
    
    def standardization(self, text):
        # 这里补充你的标准化逻辑（比如转小写、分词等）
        return text.lower()
    
    def predict(self, text):
        text = self.data_cleaning(text)
        text_clean = self.standardization(text)
        # 关键步骤：用保存的vectorizer把文本转换成特征矩阵
        text_feature = self.vector.transform([text_clean])
        # 获取所有类别的预测概率
        probs = self.model.predict_proba(text_feature)[0]
        # 找到最大概率对应的类别索引
        class_ind = np.argmax(probs)
        # 返回对应的类别名称和概率
        pred_class = self.classes_names[class_ind]
        pred_prob = probs[class_ind]
        return pred_class, pred_prob

核心注意点 #

• 部署时必须和训练流程保持一致：文本清洗→标准化→用训练过的CountVectorizer做transform，再传入模型
• 永远用predict_proba()获取概率，predict()只用来拿类别标签
• 类别映射不要手动硬写，优先用model.classes_获取训练时的类别列表，避免出现映射不匹配的问题

内容的提问来源于stack exchange，提问作者amal