如何将多词组合的话题标签拆分为独立词元，有适用的R包吗？

针对无分隔符的拼接式英文话题标签拆分需求，以下是两个成熟的R包实现方案：

方案1：使用hunspell包实现拆分 #

hunspell自带标准英文词库，可通过词库贪心匹配拆分连续拼接的单词，完全适配Instagram话题标签的拆分场景：

• 安装与加载包：

install.packages("hunspell")
library(hunspell)

• 封装自定义拆分函数：

split_hashtag <- function(hashtag) {
  # 去除标签开头的#号
  pure_tag <- gsub("^#", "", hashtag)
  # 调用拆分方法
  return(unlist(hunspell_split(pure_tag)))
}

• 测试效果：执行split_hashtag("#pictureoftheday")即可得到输出 ["picture", "of", "the", "day"]，完全匹配预期需求。

方案2：搭配tokenizers包覆盖混合格式场景 #

如果你的样本中存在驼峰格式的话题标签（如#PictureOfTheDay），可搭配tokenizers包的驼峰拆分函数使用，覆盖更多标签格式：

install.packages("tokenizers")
library(tokenizers)
# 驼峰格式标签拆分
tokenize_camel_case("PictureOfTheDay")[[1]]

适配现有tidytext工作流 #

你可以将上述拆分函数封装后接入dplyr + tidytext的处理流程，无需改动现有分析框架，直接替换原有分词步骤即可。

内容的提问来源于stack exchange，提问作者Karl