基于quanteda与tm生成的TF-IDF矩阵计算文本相似度求助

看起来你遇到的核心问题是两个TF-IDF矩阵的特征（词汇）维度不匹配，这也是用cosine()或dist()时出现argument mismatch错误的主要原因——因为两个文件分词后的词汇表大概率不一样，直接传入函数会导致参数维度不一致。下面我给你一套完整的可复现流程，从读取XML到计算相似度（Jaccard、余弦都包含），用quanteda和tm两种方式都覆盖到：

一、用quanteda实现（推荐，更简洁） #

quanteda自带的工具可以轻松处理文档对齐和相似度计算，不用手动调整矩阵维度：

步骤1：加载包并读取XML文件 #

# 安装所需包（如果没装过）
install.packages(c("quanteda", "readtext"))
library(quanteda)
library(readtext)

# 读取两个XML文件，readtext支持直接提取XML中的文本内容
txt_files <- readtext(c("file1.xml", "file2.xml"))

步骤2：分词并生成TF-IDF矩阵 #

# 创建语料库、分词，生成文档-特征矩阵（DFM）
corpus <- corpus(txt_files)
tokens <- tokens(corpus, remove_punct = TRUE, remove_numbers = TRUE, remove_symbols = TRUE)
tokens <- tokens_remove(tokens, stopwords("english")) # 移除英文停用词，可根据你的文本语言调整
dfm_tfidf <- dfm_tfidf(dfm(tokens))

步骤3：计算相似度 #

quanteda的textstat_simil()直接支持多种相似度算法，包括余弦、Jaccard：

# 计算余弦相似度
cos_sim <- textstat_simil(dfm_tfidf, method = "cosine")
print(cos_sim)

# 计算Jaccard相似度（Jaccard基于二元特征，需先转成二元DFM）
dfm_binary <- dfm_weight(dfm_tfidf, scheme = "boolean")
jacc_sim <- textstat_simil(dfm_binary, method = "jaccard")
print(jacc_sim)

二、用tm包实现（兼容你的原有流程） #

如果坚持用tm包，关键是要确保两个TF-IDF矩阵的词汇表完全一致，否则会出现维度不匹配：

步骤1：加载包并读取XML文本 #

install.packages(c("tm", "XML", "lsa", "proxy"))
library(tm)
library(XML)
library(lsa)
library(proxy)

# 自定义函数读取XML中的文本（需根据你的XML结构调整节点路径）
read_xml_text <- function(file_path) {
  doc <- xmlParse(file_path)
  xmlValue(xmlRoot(doc)[["text"]]) # 替换成你XML中存储文本的节点名称
}
text1 <- read_xml_text("file1.xml")
text2 <- read_xml_text("file2.xml")

步骤2：创建语料库并生成统一的TF-IDF矩阵 #

# 将两个文档放入同一个语料库，确保共享词汇表
corpus <- VCorpus(VectorSource(c(text1, text2)))
# 文本预处理
corpus <- tm_map(corpus, content_transformer(tolower))
corpus <- tm_map(corpus, removePunctuation)
corpus <- tm_map(corpus, removeNumbers)
corpus <- tm_map(corpus, removeWords, stopwords("english"))
# 生成TF-IDF矩阵
dtm_tfidf <- DocumentTermMatrix(corpus, control = list(weighting = weightTfIdf))

步骤3：计算相似度 #

现在两个文档的TF-IDF矩阵在同一个DTM里，维度一致，可以直接计算：

# 余弦相似度（用lsa包的cosine函数）
cos_sim <- cosine(as.matrix(dtm_tfidf))
print(cos_sim[1,2]) # 输出第一个文档和第二个文档的余弦相似度值

# Jaccard相似度（用proxy包计算，注意Jaccard距离转相似度=1-距离）
dtm_binary <- weightBin(dtm_tfidf)
jacc_dist <- dist(as.matrix(dtm_binary), method = "Jaccard")
jacc_sim <- 1 - as.numeric(jacc_dist)
print(jacc_sim)

为什么你之前会报错？ #

你之前直接分别处理两个文件生成TF-IDF矩阵，导致两个矩阵的术语列（词汇）数量、顺序都不一致——比如第一个矩阵有100个词汇，第二个有120个，cosine()等函数要求输入的矩阵维度完全匹配，所以就会抛出argument mismatch错误。解决的核心就是让两个文档共享同一个词汇表：要么把它们放在同一个语料库中处理，要么手动对齐两个矩阵的列。

内容的提问来源于stack exchange，提问作者willwang