如何在R中对多行嵌套列表形式的分词结果应用PoS标注？

推荐使用udpipe包处理这类PoS标注需求，它支持多语言，标注精度稳定。以下是适配你数据格式的完整代码示例：

步骤1：安装并加载依赖包 #

install.packages("udpipe")
library(udpipe)

步骤2：下载并加载英语标注模型 #

# 下载英语预训练模型（首次运行需联网）
model_file <- udpipe_download_model(language = "english")$file_model
# 加载模型
en_model <- udpipe_load_model(model_file)

步骤3：构造示例数据 #

df <- data.frame(
  Row_id = c(1, 2),
  # 用I()保留嵌套列表结构
  no_punct = I(list(
    c("dec", "brighton", "hove", "women", "have", "applied"),
    c("jan", "england", "has", "joined", "tottenha", "from", "chelsea")
  ))
)

步骤4：定义标注函数并生成结果 #

# 定义处理单条分词列表的函数
annotate_pos <- function(tokens, model) {
  # 将分词转为数据框格式，适配udpipe输入要求
  token_df <- data.frame(token = tokens, stringsAsFactors = FALSE)
  # 执行标注
  annot_result <- udpipe_annotate(model, x = token_df$token)
  annot_df <- as.data.frame(annot_result)
  # 组合单词与对应PoS标签（用空格分隔）
  paste(annot_df$token, annot_df$upos)
}

# 对每行的分词列表应用标注函数
df$pos_tags <- lapply(df$no_punct, annotate_pos, model = en_model)

查看结果 #

运行后df$pos_tags会存储每个单词与其PoS标签的组合列表，示例输出：

print(df$pos_tags)
# [[1]]
# [1] "dec PROPN"     "brighton PROPN" "hove PROPN"    "women NOUN"    "have AUX"      "applied VERB"
# 
# [[2]]
# [1] "jan PROPN"     "england PROPN" "has AUX"       "joined VERB"   "tottenha PROPN" "from ADP"      "chelsea PROPN"

常见问题说明 #

之前输出NULL大概率是因为未正确将嵌套列表转为udpipe可识别的输入格式，上述代码通过lapply遍历每个嵌套列表，并将单条分词转为数据框后再标注，能有效避免这类问题。

内容的提问来源于stack exchange，提问作者Anon