咨询：如何将sparklyr中ft_count_vectorizer生成的词索引映射回词汇表？

我完全懂你的困扰——拿着LDA输出的一堆词索引却对应不上实际单词，模型结果根本没法好好解读，太闹心了！别担心，sparklyr里其实有直接的方法拿到ft_count_vectorizer生成的词汇表，轻松把索引映射回单词，下面给你一步步演示：

1. 获取CountVectorizerModel的词汇表 #

不管你是单独训练CountVectorizer，还是把它放在Pipeline里，训练后的模型对象都存储着完整的词汇表。

情况1：单独训练CountVectorizer #

假设你已经完成了分词，训练代码类似这样：

# 基于已有的tokens列训练CountVectorizer
cv_model <- ft_count_vectorizer(
  sc,
  input_col = "tokens",
  output_col = "features",
  vocab_size = 1000,  # 可根据需求调整
  min_df = 2          # 可根据需求调整
)

直接通过cv_model$vocabulary就能拿到词汇表，这是一个字符向量。注意：Spark里的词索引是0基的，而R的向量是1基索引，所以索引0对应的单词是vocab[1]，索引1对应vocab[2]，以此类推。

情况2：CountVectorizer在Pipeline中 #

如果你的CountVectorizer是Pipeline的一部分，先从训练好的PipelineModel里提取出CountVectorizerModel：

# 假设你的Pipeline包含分词、去停用词、CountVectorizer和LDA
pipeline <- ml_pipeline(sc) %>%
  ft_tokenizer(input_col = "text", output_col = "tokens") %>%
  ft_stop_words_remover(input_col = "tokens", output_col = "filtered_tokens") %>%
  ft_count_vectorizer(input_col = "filtered_tokens", output_col = "features") %>%
  ml_lda(k = 5)

# 训练Pipeline
pipeline_model <- ml_fit(pipeline, your_data)

# 提取CountVectorizerModel（可以用stage名称或索引）
cv_model <- ml_stage(pipeline_model, "count_vectorizer")
# 或者用索引：ml_stage(pipeline_model, 3)（因为CountVectorizer是第3个stage）

# 获取词汇表
vocab <- cv_model$vocabulary

2. 将LDA输出的词索引映射为单词 #

以LDA的主题-top词输出为例，我们把索引转换成实际单词：

# 训练LDA模型（如果是Pipeline里的LDA，直接从pipeline_model提取即可）
lda_model <- ml_lda(sc, cv_model, k = 5, max_iter = 10)

# 获取每个主题的top词索引（比如每个主题取10个词）
topic_top_indices <- lda_model$describe_topics(k = 5, max_terms = 10)

# 把索引转换成单词：注意给索引加1，适配R的1基向量
topic_top_words <- topic_top_indices %>%
  dplyr::mutate(
    top_words = purrr::map(term_indices, ~ vocab[.x + 1])
  )

# 查看结果
print(topic_top_words)

执行完后，topic_top_words里的top_words列就是每个主题对应的实际单词列表，终于能直观解读LDA的结果了！

如果是处理其他场景下的词索引（比如文档的词袋特征对应的索引），方法也是一样的：用vocab[索引值 + 1]就能拿到对应的单词。

内容的提问来源于stack exchange，提问作者alex56