R语言中多列文本特征的数值编码实现(适配后续全数据集归一化需求)
R中文本分类列转数值并适配后续归一化的实现方案
前置说明
给定的三类文本列可分为两类变量:
- Manufacturer(制造商)、Model(车型):无顺序的定类变量,不同类别无天然高低层级
- Type(车型类别):需先确认是否为定序变量——若业务上存在明确层级(如Small<Compact<Midsize<Large)可按定序处理,否则为定类
具体实现步骤
1. 文本转数值的编码选择(适配后续归一化)
由于后续需对全数据集做归一化,禁止对无顺序的定类变量直接用整数编号(会引入虚假的顺序关系,导致归一化后数值偏差),推荐两类适配编码:
(1)独热编码(定类变量首选)
将每个类别拆分为独立的0/1列,本身已处于[0,1]区间,不会引入虚假顺序,适合Manufacturer、Model这类定类变量:
R中可用caret包的dummyVars实现:
# 安装并加载依赖包 install.packages("caret") library(caret) # 假设已将样例数据读入R,命名为car_df # 若Type为定序变量,先定义层级(按需调整顺序) type_levels <- c("Small", "Compact", "Midsize", "Large", "Sporty", "Van") car_df$Type <- factor(car_df$Type, levels = type_levels, ordered = TRUE) # 对定类列(Manufacturer、Model)做独热编码,定序列(Type)单独转数值 # 生成独热编码模型,排除定序的Type列 dummy_model <- dummyVars(~ Manufacturer + Model, data = car_df, sep = "_") # 得到独热编码后的数值矩阵 one_hot_df <- data.frame(predict(dummy_model, newdata = car_df)) # 定序的Type列转成数值(保留顺序信息) one_hot_df$Type_num <- as.numeric(car_df$Type)
(2)简易编码(仅小数据场景临时使用)
若类别数极少且临时测试,可对定类变量做整数编码,但不推荐用于后续归一化流程:
# 仅作演示,不推荐生产环境使用 car_df$Manufacturer_num <- as.numeric(factor(car_df$Manufacturer))
2. 适配全数据集归一化
编码完成后,可直接对所有数值列做统一归一化,仍用caret的preProcess实现:
# 对所有编码后的数值列做0-1归一化 norm_model <- preProcess(one_hot_df, method = "range") normalized_df <- data.frame(predict(norm_model, one_hot_df))
注意事项
- 样例中存在拼写错误
Chrylser(应为Chrysler),编码前需先清洗文本,避免生成冗余类别 - 若Model列的取值过多(如超过50个),独热编码会导致列数爆炸,可结合特征筛选或更换为目标编码(需有标签变量支撑)
内容的提问来源于stack exchange,提问作者almo
相关产品推荐
相关产品推荐

