基于多部分字符串匹配的高校数据集合并解决方案求助

问题背景 #

现有两个数据集：

• mydata：包含10条机构记录，部分机构名称带有后缀（如剑桥大学附带学院名称）
• metadata：包含5条机构元数据，部分名称有缩写、前缀或拼写差异（如Harvard写成Havard，MRC对应全称）

需要将两者合并，但常规的charmatch方法在mydata名称更长时会因多匹配项返回0，无法完成匹配。

数据集示例：

mydata = data.frame(matrix(nrow=10))
mydata$id <- c("harvard university", 
               "harvard university", 
               "university of cambridge school of clinical medicine",
               "university of cambridge school of clinical medicine",
               "stony brook university", 
               "stony brook university",
               "medical research council laboratory of molecular biology",
               "medical research council laboratory of molecular biology",
               "netherlands cancer institute",
               "netherlands cancer institute")

metadata = data.frame(matrix(nrow=5))
metadata$id <- c("havard university", 
                 "university of cambridge",
                 "stony brook university, the state university of new york",
                 "mrc laboratory of molecular biology",
                 "the netherlands cancer institute")
metadata$coolinfo <- c(1, 2, 3, 4, 5)

解决方案：标准化+双向首尾匹配+模糊距离 #

步骤1：字符串标准化 #

先统一格式，消除大小写、标点、空格差异：

# 标准化函数：转小写、去标点、压缩空格
standardize_str <- function(x) {
  x <- tolower(x)
  x <- gsub("[[:punct:]]", "", x)
  x <- gsub("\\s+", " ", x) # 替换多空格为单空格
  x <- trimws(x) # 去除首尾空格
  return(x)
}

# 应用到两个数据集
mydata$id_std <- standardize_str(mydata$id)
metadata$id_std <- standardize_str(metadata$id)

步骤2：处理常见缩写 #

针对已知的缩写（如MRC）替换为全称，提升匹配率：

metadata$id_std <- gsub("mrc", "medical research council", metadata$id_std)

步骤3：双向首尾匹配 #

检查两种匹配情况：mydata名称是否以metadata名称开头，或metadata名称是否以mydata名称开头，覆盖长短名称的匹配场景：

# 生成匹配矩阵：每行是mydata的一条记录，每列是metadata的一条记录
match_matrix <- outer(mydata$id_std, metadata$id_std, function(x, y) {
  startsWith(x, y) | startsWith(y, x)
})

# 为每条mydata记录找到对应的metadata行号
mydata$metadata_idx <- apply(match_matrix, 1, function(row) {
  match_pos <- which(row)
  if(length(match_pos) == 0) NA else match_pos[1] # 无匹配返回NA，取第一个匹配项
})

步骤4：模糊匹配处理拼写错误 #

针对拼写差异（如Harvard vs Havard），用Jaro-Winkler模糊距离找到最相似的匹配：

# 安装并加载stringdist包（如果未安装）
# install.packages("stringdist")
library(stringdist)

# 重新计算metadata_idx，优先用首尾匹配，无匹配则用模糊距离
mydata$metadata_idx <- apply(match_matrix, 1, function(row) {
  match_pos <- which(row)
  if(length(match_pos) > 0) {
    match_pos[1]
  } else {
    # 计算当前mydata字符串与所有metadata字符串的Jaro-Winkler距离，取最小距离的索引
    current_str <- mydata$id_std[which(row == row)[1]]
    dists <- stringdist(current_str, metadata$id_std, method = "jw")
    which.min(dists)
  }
})

步骤5：合并数据集 #

merged_data <- merge(mydata, metadata, by.x = "metadata_idx", by.y = "row.names", all.x = TRUE)

# 查看合并结果
print(merged_data[, c("id.x", "id.y", "coolinfo")])

验证结果 #

合并后能正确匹配以下场景：

• 剑桥大学的长名称与metadata中的短名称匹配
• MRC缩写与全称匹配
• Harvard的拼写错误（Havard）通过模糊距离匹配成功
• 石溪大学的前缀差异匹配成功

内容的提问来源于stack exchange，提问作者EmilA