R中textstat_simil计算Jaccard相似度时程序崩溃求助

我拥有一个包含792份协议的文本数据框，已完成预处理并转换为dfm。尝试计算相似度评分时，余弦相似度仅需半分钟即可得到结果，但近两日计算Jaccard相似度时，电脑出现高负载且R程序直接终止。以下是我的代码：

library(quanteda)
library(tidyr)

# 查看余弦相似度矩阵
s1 <- textstat_simil(trimmed_dfm, method = "cosine", margin = "documents")

# 将输出转换为数据框（需先转为矩阵）
cosine_simil_df <- as.data.frame(as.matrix(s1))
# 添加行名列作为PTA1
cosine_simil_df$PTA1 <- row.names(cosine_simil_df)
# 转换为长格式
cosine_simil_df_final <- pivot_longer(cosine_simil_df, cols = -PTA1, names_to = "PTA2", values_to = "similarity")
head(cosine_simil_df_final)

##### 尝试计算Jaccard相似度
s2<- textstat_simil(trimmed_dfm, method = "jaccard", margin = "documents")
# 这一步程序出问题

jaccard_simil_df<- as.data.frame(as.matrix(s2))

jaccard_simil_df$PTA1 <- row.names(jaccard_simil_df)

请问问题出在哪里？Jaccard相关功能是否已失效？

Jaccard功能并未失效，问题根源在于计算复杂度和内存占用的差异：

• 余弦相似度的计算对稀疏矩阵有针对性优化：quanteda处理余弦时，只会利用dfm中的非零元素运算，效率极高；而Jaccard需要计算每对文档特征的交集和并集，对稀疏矩阵的优化支持较弱，当dfm特征数量（词汇量）较大时，每对文档的并集计算会涉及大量元素，直接拉高CPU和内存负载。
• 密集矩阵转换的内存瓶颈：当把Jaccard相似度结果转为普通矩阵时，会完全展开稀疏结构，792×792的矩阵本身元素量不算大，但计算过程中生成的中间数据（比如每对文档的交集/并集临时结果）会占用大量内存，一旦超过R的内存限制，程序就会直接终止。

解决方案：

• 进一步精简dfm特征：用dfm_trim()过滤低频特征，比如设置min_termfreq = 3或根据数据调整，减少词汇量，从根源降低Jaccard的计算复杂度。
• 减少计算量：调用textstat_simil()时，设置upper = TRUE只计算上三角矩阵，直接减半计算量；或者用n参数指定只计算每个文档与前N个文档的相似度，避免全量计算。
• 分块计算：将792份文档分成若干小批次，分别计算批次内和批次间的Jaccard相似度，最后合并结果，每次计算的内存占用会大幅降低。
• 更新quanteda版本：确保使用最新版的quanteda，新版本可能对Jaccard的计算逻辑做了性能优化，修复旧版本的内存问题。

内容的提问来源于stack exchange，提问作者anatrik