如何为R数据框文本列移除停用词(结合text2vec流程)
text2vec 流程中实现停用词移除的实操方法
停用词移除的最佳插入节点为分词完成后、构造itoken对象前,既不会打破原有text2vec的管道逻辑,也不会产生额外的稀疏矩阵计算开销。
核心实现逻辑
- 提前定义需要过滤的停用词集合,覆盖所有无实际预测价值的高频虚词
- 对分词输出的逐文档token列表做逐元素匹配,剔除属于停用词集合的词汇
- 后续的DTM构建、TF-IDF转换流程完全沿用原有代码逻辑,无需调整
- 无需等DTM生成完成后再删列,避免稀疏矩阵列匹配出错、误删有语义特征词汇的问题
可直接运行的完整代码
library(text2vec) # 定义匹配预期过滤效果的英文停用词集合 stop_words <- c("is", "a", "of", "some", "the", "and", "in", "when", "every") test_data <- data.frame(review_id=c(1,2,3), review=c('is a masterpiece a work of art', 'sporting some of the best writing and voice work', 'better in every possible way when compared'), score=c(90, 100, 100)) # 分词环节同步完成停用词过滤 tokens <- word_tokenizer(test_data$review) tokens <- lapply(tokens, function(doc_tokens) { doc_tokens[!doc_tokens %in% stop_words] }) # 原有模型训练流程保持不变 document_term_matrix <- create_dtm(itoken(tokens), hash_vectorizer()) model_tfidf <- TfIdf$new() document_term_matrix <- model_tfidf$fit_transform(document_term_matrix) document_term_matrix <- as.matrix(document_term_matrix) # 验证过滤后的文本效果 processed_review <- vapply(tokens, paste, collapse = " ", FUN.VALUE = character(1))
运行代码后得到的processed_review结果为:
[1] "masterpiece work art" "sporting best writing voice work" "better possible way compared"
与预期处理效果核心逻辑完全一致。若需要复现示例中masterpiece变为masterpiec的词干提取效果,只需在上述过滤函数中追加词干转换逻辑即可,不影响停用词移除的核心流程。
注意事项
- 停用词集合可根据自身语料场景灵活扩充,将无预测价值的高频词直接加入
stop_words向量即可 - 不建议在DTM生成完成后删除对应停用词列,稀疏矩阵的列名匹配存在额外开销,还容易因同形词冲突误删有效特征
内容的提问来源于stack exchange,提问作者Matheus Correia
相关产品推荐
相关产品推荐

