使用LightGBM+TF-IDF实现文本多分类遇类型转换错误求助

我来帮你搞定这两个报错，本质上都是对LightGBM的任务类型和标签格式要求理解不到位导致的，咱们直接上修正后的完整代码，再拆解关键问题：

错误原因分析 #

1. 第一个ValueError（字符串标签转浮点数失败）：
   LightGBM默认是回归任务模式，会尝试把所有标签转成浮点数计算损失。你的category是字符串类别，自然无法转换，所以必须先把标签编码为数值类型。
2. 第二个TypeError（int64类型不符合要求）：
   你把标签转成了int64，但没告诉LightGBM这是多分类任务，它还是默认按回归任务处理，回归任务要求标签必须是浮点型（float32/float64），所以才会报错。核心是要明确指定任务类型参数。

修正后的完整代码 #

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.preprocessing import LabelEncoder
import lightgbm as lgb
from sklearn.model_selection import train_test_split

# 1. 加载数据集（替换成你的数据加载方式）
# df = pd.read_csv("your_data.csv")

# 模拟600行测试数据集（实际使用时可删除这段）
import numpy as np
np.random.seed(42)
categories = ["b", "a", "c"]
df = pd.DataFrame({
    "contents": [f"sample text {i}" for i in range(600)],
    "category": np.random.choice(categories, size=600)
})

# 2. 提取TF-IDF文本特征
count_vec = CountVectorizer()
word_counts = count_vec.fit_transform(df["contents"])
tfidf_transformer = TfidfTransformer()
tfidf_features = tfidf_transformer.fit_transform(word_counts)

# 3. 标签编码：把字符串类别转成0起始的整数
le = LabelEncoder()
df["encoded_label"] = le.fit_transform(df["category"])
num_classes = len(le.classes_)  # 获取分类总数

# 4. 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(
    tfidf_features, df["encoded_label"], test_size=0.2, random_state=42
)

# 5. 构建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

# 6. 设置LightGBM参数（关键：明确多分类任务）
params = {
    "objective": "multiclass",  # 指定多分类任务
    "num_class": num_classes,   # 必须声明分类数量
    "metric": "multi_logloss",
    "boosting_type": "gbdt",
    "num_leaves": 31,
    "learning_rate": 0.05,
    "feature_fraction": 0.9,
    "bagging_fraction": 0.8,
    "bagging_freq": 5,
    "verbose": 1
}

# 7. 训练模型
model = lgb.train(
    params,
    train_data,
    num_boost_round=100,
    valid_sets=[test_data],
    early_stopping_rounds=10
)

# 8. 预测并转回原始类别
y_pred_proba = model.predict(X_test)
y_pred = np.argmax(y_pred_proba, axis=1)
y_pred_labels = le.inverse_transform(y_pred)  # 把预测整数转回原始字符串类别

关键细节说明 #

• 标签编码：用LabelEncoder比手动转[0,1,2]更可靠，它会自动遍历所有唯一类别完成编码，避免遗漏或手动编码错误。
• LightGBM参数设置：objective='multiclass'和num_class是核心，告诉模型这是多分类任务，此时标签用int64完全符合要求，模型会自动适配。
• 稀疏特征处理：TF-IDF输出的是稀疏矩阵，LightGBM可以直接处理，不需要转成密集矩阵（比如toarray()），能大幅节省内存和计算时间。

验证解决效果 #

运行上面的代码后，两个报错都会消失：

• 字符串标签被正确编码为整数，解决了第一个ValueError；
• 明确指定多分类任务后，LightGBM不再要求标签是浮点型，解决了第二个TypeError。

内容的提问来源于stack exchange，提问作者SY9