运行LDA主题模型：解决行非零错误后遇内存耗尽问题求助

问题原因 #

你用apply计算文档词频矩阵（dtm）行总和时，会强制把稀疏矩阵转成密集矩阵，这对大型数据集来说会瞬间吃掉大量内存。就算过滤了空文档，剩余矩阵规模如果还是很大，LDA的VEM算法本身内存消耗也很高，自然会触发内存耗尽错误。

具体解决办法 #

1. 用高效方法计算行总和（避免稀疏转密集） #

别用apply，换成稀疏矩阵专用的求和函数，效率高还不占内存：

# 如果是tm包的TermDocumentMatrix，用slam包的row_sums最省心
library(slam)
rowTotals <- row_sums(dtm)
# 如果是Matrix包的稀疏矩阵
rowTotals <- Matrix::rowSums(dtm)

dtm.new <- dtm[rowTotals > 0, ]

2. 缩小矩阵规模 #

• 过滤低频词：删掉那些只在极少数文档里出现的词，比如保留至少在5篇文档出现的词：

# sparse值越接近1，保留的词越多，按需调整
dtm.trimmed <- removeSparseTerms(dtm, sparse = 0.995)

• 文档降采样：如果数据集太大，先抽一部分文档测试模型：

set.seed(123) # 固定随机种子保证可复现
sample_idx <- sample(nrow(dtm.new), size = 5000) # 抽5000篇，数量自己调
dtm.sampled <- dtm.new[sample_idx, ]

3. 调整LDA参数降低内存压力 #

• 换Gibbs抽样方法，比VEM省内存：

g <- LDA(dtm.new, k = 10, method = "Gibbs", control = list(iter = 1000, burnin = 200))

• 适当减少主题数（k值）：如果10个主题不是硬性要求，先试试更小的数

4. 增大R的内存限制（仅64位系统有效） #

如果物理内存足够，手动调高R的内存上限：

memory.limit(size = 64000) # 设置成64GB，别超过你的实际物理内存

内容的提问来源于stack exchange，提问作者Abby