R语言中列表内序列n-gram成对匹配问题求助

核心思路 #

你需要的是统计序列二元组集合的交集规模，再结合集合总规模计算匹配占比。这里推荐用集合操作处理（忽略位置、自动去重），如果需要考虑二元组重复次数，则用频率统计实现。

具体实现代码 #

1. 将二元组列表转为集合（忽略位置与重复） #

集合天然符合“仅判断是否完全相同、不考虑位置”的需求，先对每个序列的二元组去重：

# 把每个二元组列表转为去重后的集合
prova3_sets <- lapply(prova3, unique)

2. 计算所有元素两两之间的匹配占比 #

用combn生成所有两两组合，计算交集在并集中的占比（Jaccard相似度，常用的集合匹配指标）：

# 生成所有两两元素的索引组合
pair_indices <- combn(length(prova3_sets), 2)

# 遍历组合计算匹配占比
result <- apply(pair_indices, 2, function(idx) {
  set1 <- prova3_sets[[idx[1]]]
  set2 <- prova3_sets[[idx[2]]]
  
  # 统计相同二元组数量
  common_num <- length(intersect(set1, set2))
  # 统计总独特二元组数量
  union_num <- length(union(set1, set2))
  # 计算占比（可根据需求改为common_num/length(set1)或common_num/length(set2)）
  ratio <- common_num / union_num
  
  list(
    元素1索引 = idx[1],
    元素2索引 = idx[2],
    相同二元组 = intersect(set1, set2),
    匹配占比 = ratio
  )
})

# 转为数据框方便查看
result_df <- do.call(rbind, lapply(result, function(x) data.frame(
  元素1索引 = x$元素1索引,
  元素2索引 = x$元素2索引,
  匹配占比 = x$匹配占比,
  stringsAsFactors = FALSE
)))

3. 单个元素与其他所有元素的匹配计算 #

如果只需要针对某一个元素（比如第1个）计算和其他元素的匹配占比：

target_set <- prova3_sets[[1]]
# 遍历其他元素计算占比
match_ratios <- sapply(prova3_sets[-1], function(x) {
  common <- length(intersect(target_set, x))
  union <- length(union(target_set, x))
  common / union
})

4. 考虑二元组重复次数的匹配计算 #

如果需要统计重复出现的二元组（比如"A B"出现3次和出现2次的匹配），用频率表替代集合：

# 统计每个序列中二元组的出现频率
prova3_tables <- lapply(prova3, table)

# 计算两个序列中相同二元组的最小出现次数之和
get_common_total <- function(tbl1, tbl2) {
  common_keys <- intersect(names(tbl1), names(tbl2))
  sum(pmin(tbl1[common_keys], tbl2[common_keys]))
}

# 计算两个序列的二元组总数量（去重重复部分）
get_total <- function(tbl1, tbl2) {
  sum(tbl1) + sum(tbl2) - get_common_total(tbl1, tbl2)
}

# 计算带重复次数的匹配占比
repeat_aware_ratio <- get_common_total(prova3_tables[[1]], prova3_tables[[2]]) / get_total(prova3_tables[[1]], prova3_tables[[2]])

内容的提问来源于stack exchange，提问作者NicodemoXIII