R语言中fuzzyjoin内存不足问题的解决方法咨询

问题根源 #

你原代码的核心问题是直接对全量数据执行fuzzy_left_join时，stringdist::stringdistmatrix会生成两个数据框所有行的两两距离矩阵——如果两个数据框各有10万行，这个矩阵会包含100亿个元素，直接超出内存上限。另外你定义的子集代码并未实际用于连接操作，完全没起到作用。

解决办法 #

1. 先精确过滤缩小匹配范围 #

优先用州、邮编、国家这类能精确匹配的字段分组，只在同组内做模糊匹配，大幅减少需要计算的配对数量：

library(tidyverse)
library(fuzzyjoin)
library(readxl)
library(stringdist)

# 加载并统一字段名，避免重复映射
ex_hotels <- readRDS("expedia_hotels.rds")
census <- read_excel("US_Census_October_2023.xlsx") %>%
  rename(
    region_state = State,
    zip_code = `Postal Code`,
    locality = City,
    hotel_name = `Hotel Name`,
    street_address = `Address 1`,
    country = Country
  )

# 先按精确字段匹配，再在组内做模糊匹配
result <- ex_hotels %>%
  # 精确匹配州、邮编、国家，过滤掉完全不可能匹配的记录
  fuzzy_left_join(
    census,
    by = c("region_state", "zip_code", "country"),
    match_fun = list(`==`, `==`, `==`)
  ) %>%
  # 计算关键字段的相似度，设置阈值筛选匹配结果
  mutate(
    name_sim = stringsim(hotel_name.x, hotel_name.y, method = "jaccard"),
    city_sim = stringsim(locality.x, locality.y, method = "jaccard"),
    addr_sim = stringsim(street_address.x, street_address.y, method = "jaccard")
  ) %>%
  # 保留匹配度达标的记录，或无匹配的原记录
  filter((name_sim > 0.8 & city_sim > 0.8 & addr_sim > 0.7) | is.na(hotel_name.y)) %>%
  # 去重：同一酒店保留匹配度最高的记录
  group_by(hotel_name.x, locality.x) %>%
  slice_max(order_by = name_sim + city_sim + addr_sim, n = 1) %>%
  ungroup() %>%
  select(-name_sim, -city_sim, -addr_sim)

2. 分块处理超大数据集 #

如果数据量极大，直接分组仍内存不足，可将数据切成小块逐个处理，再合并结果：

library(furrr)
plan(multisession) # 启用多核并行

# 分块大小，根据内存调整
chunk_size <- 1000
ex_chunks <- split(ex_hotels, ceiling(seq(nrow(ex_hotels))/chunk_size))

# 并行处理每个数据块
result_list <- future_map(ex_chunks, function(chunk) {
  chunk %>%
    fuzzy_left_join(census, by = c("region_state", "zip_code", "country"), match_fun = list(`==`, `==`, `==`)) %>%
    mutate(
      name_sim = stringsim(hotel_name.x, hotel_name.y, method = "jaccard"),
      city_sim = stringsim(locality.x, locality.y, method = "jaccard")
    ) %>%
    filter((name_sim > 0.8 & city_sim > 0.8) | is.na(hotel_name.y)) %>%
    group_by(hotel_name.x, locality.x) %>%
    slice_max(order_by = name_sim + city_sim, n = 1) %>%
    ungroup()
})

# 合并所有块的结果
final_result <- bind_rows(result_list)

3. 优化模糊匹配参数 #

• 不要用stringdistmatrix作为match_fun：fuzzyjoin的match_fun需要对每对元素返回TRUE/FALSE，直接用stringsim计算相似度并设置阈值更高效。
• 调整相似度阈值：根据数据质量调整，比如酒店名相似度>0.8，地址>0.7，避免不必要的计算。

更简便的实现思路 #

如果你的数据有明确的层级匹配逻辑（国家→州→邮编→酒店名），可以用分层匹配+模糊匹配的组合：先通过精确字段过滤，再用stringdist做局部模糊匹配，这种方式比直接全量模糊连接高效得多。

另外可以尝试data.table结合stringdist的实现，速度和内存控制会更好：

library(data.table)
library(stringdist)

setDT(ex_hotels)
setDT(census)

# 统一字段名
setnames(census, c("State", "Postal Code", "City", "Hotel Name", "Address 1", "Country"),
         c("region_state", "zip_code", "locality", "hotel_name", "street_address", "country"))

# 先按精确字段合并，再计算相似度筛选
result <- ex_hotels[census, on = .(region_state, zip_code, country), allow.cartesian = TRUE] %>%
  .[is.na(hotel_name) | stringdist(hotel_name, i.hotel_name, method = "jaccard") < 0.2] %>%
  .[order(-stringdist(hotel_name, i.hotel_name, method = "jaccard"))] %>%
  .[, .SD[1], by = .(hotel_name, locality)]

内容的提问来源于stack exchange，提问作者P Initiate