深度学习癌症预测项目数据缩放报错:无法转换'discrete'为浮点数
报错核心原因
sklearn.preprocessing.scale 仅支持输入全数值型的特征矩阵,触发这次报错的本质是:读取到的X_data.csv中存在无法转换为浮点数的字符串值(堆栈提示明确碰到了字符串'discrete'),无法完成数值类型转换,因此抛出ValueError。
分步解决操作
1. 先定位所有非数值类型的特征列
直接运行下方代码,把所有含字符串值的列全部找出来,确认异常值的真实来源:
import numpy as np import pandas as pd from sklearn import preprocessing df1 = pd.read_csv('X_data.csv') non_numeric_cols = df1.select_dtypes(exclude=[np.number]).columns.tolist() print("数据集中的非数值列清单:", non_numeric_cols) for col in non_numeric_cols: print(f"列{col}的取值示例:{df1[col].unique()[:5]}")
2. 按异常来源对应修复
场景1:'discrete'是混入的冗余脏数据
这是做数据集拆分时非常常见的问题:导出CSV的时候,不小心把之前做特征分析时写的特征类型备注(比如某列旁标注了“离散特征”“连续特征”)、临时写的说明行混进了数据区,最后读入时把这个字符串当成了普通样本值。
这种情况直接在读取CSV时跳过脏行即可,比如排查发现异常内容在第1行就加skiprows参数调整读取规则:
# 跳过前N行脏数据(根据实际排查到的脏行位置调整N值) df1 = pd.read_csv('X_data.csv', skiprows=1) # 清除完脏数据后再执行缩放操作 df1_scaled = preprocessing.scale(df1)
场景2:非数值列是真实的离散分类特征
如果排查后发现这些带字符串值的列是本来就存在的业务特征(比如肿瘤TNM分期、检测样本来源类型这类离散字段),不能直接跳过或者强转数值,需要先完成编码转换,把所有特征都变成数值类型后再做缩放:
from sklearn.preprocessing import OneHotEncoder # 对识别出的非数值列做独热编码,适配无大小顺序的离散特征 enc = OneHotEncoder(sparse_output=False, handle_unknown='ignore') encoded_feats = enc.fit_transform(df1[non_numeric_cols]) # 把原本的数值特征和编码后的分类特征拼接为完整的全数值矩阵 numeric_part = df1.drop(columns=non_numeric_cols).values full_numeric_X = np.hstack([numeric_part, encoded_feats]) # 全数值矩阵构建完成后再执行标准化缩放 df1_scaled = preprocessing.scale(full_numeric_X)
实操注意事项
- 缩放操作必须在所有特征转为数值型、缺失值填充完成后执行,带字符串、自定义空值标记的原始DataFrame直接套
scale一定会触发同类转换错误。 - 建议把训练集/测试集拆分流程放在缩放操作之前,用训练集拟合缩放器、再分别转换训练集和测试集,避免测试集信息泄露,拿到更可靠的模型评估结果。
内容的提问来源于stack exchange,提问作者Imdadul Haque
相关产品推荐
相关产品推荐

