sklearn线性回归拟合时将Description从int64转category后报ValueError
问题成因拆解
直接触发报错的代码逻辑问题
你写的构造特征矩阵的两行代码本身存在两个叠加的逻辑漏洞,在Description为int64类型时因为兼容性问题没暴露,转成category类型后就完全触发:
- 第一行
X_train_1 = X_train['Description'].values.reshape(-1, 1)存在类型适配问题。当列是int64类型时,.values返回的是普通一维numpy整数数组,reshape成二维结构可以正常工作;但当列被修改为category类型后,pandas的.values返回的是专属的Categorical扩展数组,此时直接执行reshape操作,会在pandas内部的类别值索引取值逻辑中触发维度不匹配——也就是报错里提到的“Buffer has wrong number of dimensions (expected 1, got 2)”。 - 第二行
X_train_1.columns = ['Description']属于完全无效的冗余代码。上一步reshape后拿到的是numpy ndarray对象,本身没有对应DataFrame列索引的原生.columns属性,这行代码只是给numpy对象临时挂了个孤立的columns属性,对后续模型拟合没有任何作用——只是因为scikit-learn的LinearRegression只要求输入是二维数值数组,根本不读取这类临时属性,所以之前的代码能正常跑通。
认知层面的核心误区
你将存储产品类别编码的int列直接转为category类型后直接喂给线性回归的操作本身不符合建模逻辑:
线性回归只能识别连续型数值特征,无序的类别编码(不管是原始int值还是category类型的内置编码)是没有大小顺序语义的。直接把编码值喂给模型的话,模型会错误认为编码值1324比368的数值更高,进而计算出两者对应的预测值存在线性差值关系,完全违背类别特征的本质。
正确的处理方案
如果要以Description(产品类别)为唯一预测变量搭建线性回归模型,需要按以下步骤操作:
- 不要直接用
.values做reshape构造二维特征,优先用pandas的列切片语法拿到自带列索引的二维DataFrame结构:X_train_1 = X_train[['Description']] - 对类别特征做适配回归模型的编码转换,不能直接把category类型的原始值传入拟合函数:
from sklearn.preprocessing import OneHotEncoder # 初始化独热编码器,去掉第一列避免多重共线性 ohe = OneHotEncoder(sparse_output=False, drop='first') # 对类别特征做编码转换 X_train_encoded = ohe.fit_transform(X_train[['Description']]) # 传入编码后的二维数值矩阵拟合模型 mod = LinearRegression() mod.fit(X_train_encoded, y_train) - 如果你只是想保留原始int的连续编码逻辑做单变量回归,那完全不需要把列的类型从int64改成category,直接沿用最开始的写法即可,只是要去掉那行无效的临时属性赋值代码,避免后续场景下触发莫名报错。
内容的提问来源于stack exchange,提问作者Sachin Krishna
相关产品推荐
相关产品推荐

