看起来你已经走对了方向——余弦相似度是文本匹配的常用方法，但忽略核心词性确实会导致类别混淆的问题（比如X-ray和MRI这类不同服务被误匹配）。针对你的医疗服务文本场景，我整理了一套适配10000+条数据规模的实操方案，核心是通过词性标注为关键词汇赋予更高权重：

一、先解决词性标注的准确性问题 #

你提到用udpipe效果不理想，大概率是模型选择不对。针对英文医疗服务文本，推荐用spacy的医疗领域模型（或通用模型先验证），它对医疗术语的词性/实体识别更精准：

# 安装并初始化spacy
install.packages("spacyr")
spacyr::spacy_install()
library(spacyr)
# 通用模型先试，医疗场景可换en_med7_lg（需额外安装）
spacy_initialize(model = "en_core_web_sm")

接下来对所有文本做词性标注，同时标记你关注的关键POS（比如专有名词PROPN、普通名词NOUN，对应X-ray、consultation这类核心服务词）：

# 合并A和B的文本统一处理
all_texts <- c(A$name, B$name)
doc_names <- c(docnames(corp1), docnames(corp2))

# 词性标注，提取词元（lemma）和词性标签
parsed_text <- spacy_parse(all_texts, lemma = TRUE, pos = TRUE)

# 定义需要加权的关键词性标签
key_pos_tags <- c("NOUN", "PROPN")
parsed_text$is_core_word <- parsed_text$pos %in% key_pos_tags

二、构建带词性权重的文档-词矩阵（DFM） #

现在要给核心词性的词汇赋予更高权重（比如普通词权重1，核心词权重3，可根据效果调整），用quanteda实现加权DFM：

library(quanteda)

# 构建基础DFM（保留你原来的ngrams=2设置）
corpus_all <- corpus(all_texts, docnames = doc_names)
base_dfm <- dfm(corpus_all, ngrams = 2)

# 生成每个词汇的权重映射
word_weights <- parsed_text %>%
  dplyr::group_by(token) %>%
  dplyr::summarise(weight = ifelse(any(is_core_word), 3, 1)) %>%
  tibble::deframe()

# 给DFM应用权重，未匹配到的词默认权重1
weighted_dfm <- dfm_weight(base_dfm, weights = word_weights, fill = 1)

三、计算加权后的余弦相似度 #

用加权后的DFM重新计算相似度，核心服务词的差异会被放大，避免跨类别误匹配：

# 拆分回A和B的文档列表
docs_a <- docnames(corp1)
docs_b <- docnames(corp2)

# 计算B中每个文档与A中文档的相似度
weighted_cosines <- lapply(docs_b, function(target_doc) {
  textstat_simil(weighted_dfm[c(target_doc, docs_a), ], 
                 method = "cosine", 
                 selection = target_doc)[-1, , drop = FALSE]
})

# 合并结果为矩阵
final_result <- do.call(cbind, weighted_cosines)

额外优化建议 #

• 用实体识别替代POS更精准：医疗场景中，X-ray、MRI属于医疗操作实体，直接用spacy的NER标记PROCEDURE类实体，比POS标签更精准，能进一步提升匹配准确性。
• 权重调优：可以通过小样本测试调整核心词的权重（比如2-5之间），或者结合TF-IDF权重，让高频核心服务词的权重更高。
• 大数据效率优化：10000条数据用spacy批量处理即可，如果还是慢，可换用udpipe的英文医疗模型（udpipe::udpipe_download_model("english-ewt")），之前效果差可能是用了不合适的通用模型。

这样处理后，"X-ray right leg arteries"和"MRI right leg arteries"的相似度会明显降低，因为核心服务词的权重被放大，它们的类别差异会被正确识别。

内容的提问来源于stack exchange，提问作者john