R按子分组限制模糊字符串比较量及匹配报错解决
错误根因说明
- 第一个写法报错原因:
- 列名写错:误把数据集里的
Province写成了不存在的State,字段缺失 - 参数逻辑错误:
stringdist_join的by参数默认会对列出的所有列统一执行字符串距离计算,把需要精确匹配的Province、Year和需要模糊匹配的Municipality混在同一个by向量里,会导致函数内部逻辑混乱,最终抛出“列为空向量”的错误
- 列名写错:误把数据集里的
- 第二个写法报错原因:
- 全量连接完成后,两个数据集的同名字段会自动添加
.x(来自DT1)、.y(来自DT2)的后缀,不存在不带后缀的Municipality、Year、Province列,直接按原列名分组会触发“找不到变量”的报错 - 该写法是先完成全量笛卡尔积的距离计算,再做分组筛选,没有从源头减少字符串比较的次数,达不到降低计算量的效果
- 全量连接完成后,两个数据集的同名字段会自动添加
正确实现方案
核心逻辑:从源头把跨分组(不同省、不同年份)的无效字符串比对提前过滤掉,只在同省同年的行范围内做模糊匹配,最大程度减少计算量,有两种可直接落地的写法:
方案1:分步骤精确预匹配(最易理解、资源占用最低)
先通过精确连接把同省同年的行筛选为候选匹配池,再在候选池内做字符串距离计算、取最优匹配,完全规避不必要的跨组比对。
library(dplyr) library(stringdist) # 步骤1:精确匹配同省、同年的行对,提前过滤跨组的无效候选 candidate_pool <- inner_join( DT1, DT2, by = c("Province", "Year") ) # 步骤2:在候选池内计算市政名称的字符串距离,取每个DT1行的最优匹配 match_result <- candidate_pool %>% mutate( # 计算JW方法的字符串距离 dist = stringdist( a = Municipality.x, b = Municipality.y, method = "jw", ignore.case = TRUE ) ) %>% # 按DT1的原始行分组(用行号避免重名匹配误差) group_by(orig_row = row_number()) %>% # 过滤超过最大距离阈值的结果,取距离最小的1条匹配 filter(dist <= 10) %>% slice_min(dist, n = 1) %>% ungroup() %>% # 移除临时分组列 select(-orig_row)
方案2:单次fuzzyjoin混合匹配(无需拆步骤)
通过multi_by指定精确匹配的分组列,自定义匹配规则实现“同组才比对字符串”的逻辑,避免全量笛卡尔积计算:
library(dplyr) library(fuzzyjoin) stringdist_join( DT1, DT2, # 仅指定需要做模糊匹配的列 by = "Municipality", # 自定义匹配规则:必须同省、同年,且市政名称的字符串距离符合阈值 match_fun = function(mun_x, mun_y, prov_x, prov_y, year_x, year_y) { mun_dist_ok <- stringdist(mun_x, mun_y, method = "jw", ignore.case = TRUE) <= 10 prov_ok <- prov_x == prov_y year_ok <- year_x == year_y mun_dist_ok & prov_ok & year_ok }, # 把需要精确匹配的分组列传入匹配函数 multi_by = c("Province", "Year"), mode = "left", distance_col = "dist" ) %>% # 按DT1原始行分组,取距离最小的最优匹配 group_by(orig_row = row_number()) %>% slice_min(dist, n = 1) %>% ungroup() %>% select(-orig_row)
内容的提问来源于stack exchange,提问作者Tom
相关产品推荐
相关产品推荐

