You need to enable JavaScript to run this app. R语言如何提取文本列词汇生成虚拟变量并合并同类特征列
优惠活动
大模型
产品
解决方案
定价
更多

R语言如何提取文本列词汇生成虚拟变量并合并同类特征列

R语言房源特征虚拟变量生成与同类项合并操作方案

以下代码适配63000行规模的数据集,全流程无性能瓶颈,可直接用于特征价格法建模前的变量加工:

1. 原始特征列清洗拆分

首先对存储特征的原始文本列做标准化处理,从源头消除大小写差异、多余符号带来的特征重复问题:

library(tidyverse)

# 替换为你的实际数据集名称、特征列名称
# 示例中数据集名为house_data,原始特征列名为raw_feature
house_data <- house_data %>%
  mutate(
    # 清除文本中多余的双引号、首尾空白字符
    clean_text = str_remove_all(raw_feature, '"') %>% str_trim(),
    # 按逗号拆分单个特征,统一转为小写消除大小写差异
    feature_set = str_split(clean_text, ",\\s*") %>% 
      map(~str_trim(.x) %>% tolower())
  )

2. 生成全量0-1虚拟变量

自动提取数据集中出现过的所有唯一特征词条,逐行判断特征是否存在,生成对应虚拟变量:

# 提取全部去重后的特征词条
all_unique_features <- house_data$feature_set %>% unlist() %>% unique()

# 批量生成虚拟变量
house_with_dummy <- house_data %>%
  bind_cols(
    map_dfc(all_unique_features, ~{
      target_feature <- .x
      house_data$feature_set %>%
        map_int(~ifelse(target_feature %in% .x, 1, 0)) %>%
        set_names(target_feature)
    })
  )
  • 运行print(all_unique_features)可直接输出所有识别到的特征词条,方便后续梳理语义同类项,尽可能覆盖全部可用房源属性。

3. 语义同类特征合并

针对语义一致但表述有差异的特征,可自定义分组规则生成合并后的统一特征列,避免同属性变量过多导致的共线性问题:

# 按实际识别到的特征调整分组规则,组内任意特征存在即标记为1
feature_merge_rule <- list(
  has_parking = c("off street parking", "garage", "parking", "attached garage", "detached garage"),
  has_fireplace = c("fireplace", "wood fireplace", "gas fireplace"),
  has_balcony = c("one story with balcony", "balcony")
  # 可根据输出的全量特征列表持续补充分组
)

# 批量生成合并后的特征列
house_final <- house_with_dummy %>%
  bind_cols(
    map_dfc(names(feature_merge_rule), ~{
      col_name <- .x
      group_cols <- feature_merge_rule[[col_name]]
      rowSums(across(any_of(group_cols)), na.rm = TRUE) %>%
        as.integer() %>%
        ifelse(. > 0, 1, 0) %>%
        set_names(col_name)
    })
  )

最终输出的house_final数据集既保留了细粒度的单特征虚拟变量,也包含合并后的大类特征列,可根据回归模型的拟合效果灵活选用变量。全流程运行耗时通常在10秒以内,适配6万行级别的数据量。

内容的提问来源于stack exchange,提问作者Lucy Kingwell-Meader

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.26 09:39:57