如何在R中从Quanteda的Newsmap包导出训练构建的自定义字典
基于newsmap模型导出全量训练字典的解决方案
coef()对newsmap模型的默认返回参数为每个类别前10个关联度最高的特征,要导出完整训练字典可按以下步骤操作:
提取全量特征权重
调整coef()的n参数为Inf,即可返回所有类别对应的全部非零权重特征:# 加载依赖包 library(quanteda) library(newsmap) # 提取全量特征权重,n=Inf代表返回所有特征 full_coef <- coef(model, n = Inf)转换为quanteda可识别的字典对象
将返回的权重向量提取词汇名,构建为命名列表后传入dictionary()函数,生成可直接在quanteda生态中使用的字典对象:# 提取每个类别对应的词汇列表,丢弃权重值 dict_list <- lapply(full_coef, names) # 生成quanteda字典对象 newsmap_dict <- dictionary(dict_list)可选优化操作
- 按权重阈值过滤:仅保留关联度高于指定阈值的特征,降低字典冗余
threshold <- 0.1 dict_list_filtered <- lapply(full_coef, function(x) names(x[x > threshold])) newsmap_dict_filtered <- dictionary(dict_list_filtered) - 移除种子字典词汇:如果仅需保留模型扩展出的非种子词汇,可通过集合差集操作过滤
# seed_dict为你训练模型时使用的原始种子字典 seed_vals <- unlist(as.character(seed_dict)) dict_list_extended <- lapply(dict_list, function(x) setdiff(x, seed_vals)) newsmap_dict_extended <- dictionary(dict_list_extended)
- 按权重阈值过滤:仅保留关联度高于指定阈值的特征,降低字典冗余
验证使用
生成的字典可直接用于dfm_lookup()、tokens_lookup()等quanteda内置函数,示例:dfm_with_dict <- dfm_lookup(my_dfm, dictionary = newsmap_dict)
内容的提问来源于stack exchange,提问作者Darius Kehler
相关产品推荐
相关产品推荐

