如何匹配数据库员工职位并简化名称？Kaggle数据变量编码优化求助

我之前处理过类似的文本归类问题，针对你遇到的职位名称杂乱（变体、缩写、拼写错误）的情况，给你一套实用的R语言解决方案，亲测有效：

一、先做基础数据标准化 #

这一步是后续处理的前提，先把杂乱的文本统一成规范格式：

• 统一大小写：把所有职位名称转成小写，避免大小写差异导致的重复
• 清理特殊字符：去掉标点、符号等无关内容
• 替换常见缩写：提前整理业务中常见的缩写映射（比如acct.→account、sr→senior）
• 纠正拼写错误：用拼写检查工具修正明显的拼写失误

对应的R代码示例：

# 先安装需要的包
install.packages(c("dplyr", "stringr", "hunspell"))
library(dplyr)
library(stringr)
library(hunspell)

# 假设你的数据集叫loan_data，职位字段是emp_title
loan_data <- loan_data %>%
  mutate(
    # 统一转小写
    emp_title_clean = tolower(emp_title),
    # 去除特殊字符（只保留字母、数字和空格）
    emp_title_clean = str_replace_all(emp_title_clean, "[^a-z0-9 ]", ""),
    # 替换常见缩写（可以根据你的数据补充更多映射）
    emp_title_clean = str_replace_all(emp_title_clean, c(
      "acct" = "account", 
      "sr" = "senior", 
      "jr" = "junior",
      "mgr" = "manager"
    ))
  )

# 定义拼写纠正函数
correct_spelling <- function(text) {
  suggestions <- hunspell_suggest(text)
  # 如果有拼写建议，取第一个最可能的；没有就保留原文本
  if (length(suggestions[[1]]) > 0) {
    return(suggestions[[1]][1])
  } else {
    return(text)
  }
}

# 批量纠正拼写
loan_data$emp_title_clean <- sapply(loan_data$emp_title_clean, correct_spelling)

二、归类简化职位名称 #

这里有两种思路，你可以根据数据规模和业务需求选择：

1. 手动规则映射（推荐，准确性高） #

先统计高频职位，针对出现次数多的类别手动构建规则，剩下的归为"其他"：

# 先看高频职位，找规律
top_titles <- loan_data %>%
  count(emp_title_clean, sort = TRUE) %>%
  head(100)
print(top_titles)

# 手动构建类别映射
loan_data <- loan_data %>%
  mutate(
    job_category = case_when(
      # 会计/财务类
      str_detect(emp_title_clean, "account|finance|bookkeep") ~ "Accounting/Finance",
      # IT/工程类
      str_detect(emp_title_clean, "software|developer|engineer|it|programmer") ~ "IT/Engineering",
      # 销售/客服类
      str_detect(emp_title_clean, "sales|client|customer|rep") ~ "Sales/Customer Service",
      # 教育类
      str_detect(emp_title_clean, "teacher|professor|educat") ~ "Education",
      # 医疗类
      str_detect(emp_title_clean, "nurse|doctor|medical|health") ~ "Healthcare",
      # 管理类
      str_detect(emp_title_clean, "manager|director|supervisor") ~ "Management",
      # 剩下的归为其他
      TRUE ~ "Other"
    )
  )

2. 自动文本聚类（适合数据量大、规则难梳理的情况） #

如果手动规则太繁琐，可以用TF-IDF把文本转成向量，再用k-means聚类：

install.packages(c("tidytext", "tm"))
library(tidytext)
library(tm)

# 生成TF-IDF矩阵
tf_idf_matrix <- loan_data %>%
  unnest_tokens(word, emp_title_clean) %>%
  anti_join(stop_words) %>% # 去掉停用词（比如the、and）
  count(emp_title, word) %>%
  bind_tf_idf(word, emp_title, n) %>%
  cast_dtm(emp_title, word, tf_idf)

# 运行k-means聚类（聚类数可以根据业务调整，比如设为8-12）
set.seed(123) # 固定随机种子保证结果可重复
k_clust <- kmeans(as.matrix(tf_idf_matrix), centers = 10)

# 把聚类结果合并到原数据
loan_data <- loan_data %>%
  left_join(tibble(emp_title = names(k_clust$cluster), job_cluster = k_clust$cluster), by = "emp_title")

三、编码为数值型 #

不管用哪种归类方法，最后转数值都很简单：

# 手动类别转数值
loan_data$job_category_num <- as.numeric(factor(loan_data$job_category))

# 聚类结果本身就是数值，直接用即可
# loan_data$job_cluster 已经是数值型

一些额外技巧 #

• 先处理高频职位：占比80%的职位通常只占总类别的20%，优先处理这些能快速减少取值种类
• 验证归类结果：随机抽查部分数据，确保归类符合业务逻辑，避免错误映射
• 混合使用两种方法：先用聚类找潜在的类别规律，再把聚类结果转化为手动规则，兼顾效率和准确性

内容的提问来源于stack exchange，提问作者anka0501