求助：R中FastText language_identification结果与原文匹配问题

使用R的fastText包进行语言识别时，language_identification()批量处理文本会返回扁平化的预测结果，无法直接对应到原始文档，且不同文档的预测结果数量不一致，导致匹配困难。以下是可靠的解决方案：

核心思路 #

逐行处理每个文本，将预测结果与对应文档的ID/原始文本绑定。批量调用函数时未保留输入分组信息，单独处理每个文本是最直接的匹配方式。

方案1：Tidyverse风格实现 #

library(fastText)
library(dplyr)
library(purrr)

# 加载预训练语言模型
file_ftz = system.file("language_identification/lid.176.ftz", package = "fastText")

# 定义单文本处理函数：绑定文档标识与预测结果
process_single_text <- function(doc_id, text) {
  lang_pred <- language_identification(
    text,
    pre_trained_language_model_path = file_ftz,
    verbose = FALSE
  )
  
  # 整理结果，去除标签前缀并绑定元信息
  data.frame(
    doc_id = doc_id,
    speechtext = text,
    language = gsub("__label__", "", lang_pred$labels),
    confidence = lang_pred$probabilities,
    stringsAsFactors = FALSE
  )
}

# 遍历所有文档并合并结果
matched_results <- pmap_dfr(DF, ~ process_single_text(..1, ..2))

# 查看匹配后的结果
print(matched_results)

方案2：Base R风格实现 #

library(fastText)

# 加载预训练语言模型
file_ftz = system.file("language_identification/lid.176.ftz", package = "fastText")

# 初始化结果数据框
matched_results <- data.frame(
  doc_id = integer(),
  speechtext = character(),
  language = character(),
  confidence = numeric(),
  stringsAsFactors = FALSE
)

# 循环处理每个文档
for (i in 1:nrow(DF)) {
  doc_id <- DF$doc_id[i]
  text <- DF$speechtext[i]
  
  lang_pred <- language_identification(
    text,
    pre_trained_language_model_path = file_ftz,
    verbose = FALSE
  )
  
  # 临时存储当前文档的预测结果
  temp_df <- data.frame(
    doc_id = doc_id,
    speechtext = text,
    language = gsub("__label__", "", lang_pred$labels),
    confidence = lang_pred$probabilities,
    stringsAsFactors = FALSE
  )
  
  matched_results <- rbind(matched_results, temp_df)
}

# 查看匹配后的结果
print(matched_results)

关键点说明 #

• 两种方案均通过一对一处理文本，确保每个预测结果都能精准绑定原始文档的doc_id和文本内容
• 使用gsub("__label__", "", lang_pred$labels)去除预测标签中的前缀，得到干净的语言代码（如en、es）
• 兼容不同文档返回不同数量预测结果的场景，无需推测匹配

内容的提问来源于stack exchange，提问作者cmoez