R语言如何提取文本列词汇生成虚拟变量并合并同类特征列
R语言房源特征虚拟变量生成与同类项合并操作方案
以下代码适配63000行规模的数据集,全流程无性能瓶颈,可直接用于特征价格法建模前的变量加工:
1. 原始特征列清洗拆分
首先对存储特征的原始文本列做标准化处理,从源头消除大小写差异、多余符号带来的特征重复问题:
library(tidyverse) # 替换为你的实际数据集名称、特征列名称 # 示例中数据集名为house_data,原始特征列名为raw_feature house_data <- house_data %>% mutate( # 清除文本中多余的双引号、首尾空白字符 clean_text = str_remove_all(raw_feature, '"') %>% str_trim(), # 按逗号拆分单个特征,统一转为小写消除大小写差异 feature_set = str_split(clean_text, ",\\s*") %>% map(~str_trim(.x) %>% tolower()) )
2. 生成全量0-1虚拟变量
自动提取数据集中出现过的所有唯一特征词条,逐行判断特征是否存在,生成对应虚拟变量:
# 提取全部去重后的特征词条 all_unique_features <- house_data$feature_set %>% unlist() %>% unique() # 批量生成虚拟变量 house_with_dummy <- house_data %>% bind_cols( map_dfc(all_unique_features, ~{ target_feature <- .x house_data$feature_set %>% map_int(~ifelse(target_feature %in% .x, 1, 0)) %>% set_names(target_feature) }) )
- 运行
print(all_unique_features)可直接输出所有识别到的特征词条,方便后续梳理语义同类项,尽可能覆盖全部可用房源属性。
3. 语义同类特征合并
针对语义一致但表述有差异的特征,可自定义分组规则生成合并后的统一特征列,避免同属性变量过多导致的共线性问题:
# 按实际识别到的特征调整分组规则,组内任意特征存在即标记为1 feature_merge_rule <- list( has_parking = c("off street parking", "garage", "parking", "attached garage", "detached garage"), has_fireplace = c("fireplace", "wood fireplace", "gas fireplace"), has_balcony = c("one story with balcony", "balcony") # 可根据输出的全量特征列表持续补充分组 ) # 批量生成合并后的特征列 house_final <- house_with_dummy %>% bind_cols( map_dfc(names(feature_merge_rule), ~{ col_name <- .x group_cols <- feature_merge_rule[[col_name]] rowSums(across(any_of(group_cols)), na.rm = TRUE) %>% as.integer() %>% ifelse(. > 0, 1, 0) %>% set_names(col_name) }) )
最终输出的
house_final数据集既保留了细粒度的单特征虚拟变量,也包含合并后的大类特征列,可根据回归模型的拟合效果灵活选用变量。全流程运行耗时通常在10秒以内,适配6万行级别的数据量。
内容的提问来源于stack exchange,提问作者Lucy Kingwell-Meader
相关产品推荐
相关产品推荐

