You need to enable JavaScript to run this app. 如何在R中从Quanteda的Newsmap包导出训练构建的自定义字典
优惠活动
大模型
产品
解决方案
定价
更多

如何在R中从Quanteda的Newsmap包导出训练构建的自定义字典

基于newsmap模型导出全量训练字典的解决方案

coef()对newsmap模型的默认返回参数为每个类别前10个关联度最高的特征,要导出完整训练字典可按以下步骤操作:

  • 提取全量特征权重
    调整coef()的n参数为Inf,即可返回所有类别对应的全部非零权重特征:

    # 加载依赖包
    library(quanteda)
    library(newsmap)
    
    # 提取全量特征权重,n=Inf代表返回所有特征
    full_coef <- coef(model, n = Inf)
    
  • 转换为quanteda可识别的字典对象
    将返回的权重向量提取词汇名,构建为命名列表后传入dictionary()函数,生成可直接在quanteda生态中使用的字典对象:

    # 提取每个类别对应的词汇列表,丢弃权重值
    dict_list <- lapply(full_coef, names)
    
    # 生成quanteda字典对象
    newsmap_dict <- dictionary(dict_list)
    
  • 可选优化操作

    • 按权重阈值过滤:仅保留关联度高于指定阈值的特征,降低字典冗余
      threshold <- 0.1
      dict_list_filtered <- lapply(full_coef, function(x) names(x[x > threshold]))
      newsmap_dict_filtered <- dictionary(dict_list_filtered)
      
    • 移除种子字典词汇:如果仅需保留模型扩展出的非种子词汇,可通过集合差集操作过滤
      # seed_dict为你训练模型时使用的原始种子字典
      seed_vals <- unlist(as.character(seed_dict))
      dict_list_extended <- lapply(dict_list, function(x) setdiff(x, seed_vals))
      newsmap_dict_extended <- dictionary(dict_list_extended)
      
  • 验证使用
    生成的字典可直接用于dfm_lookup()、tokens_lookup()等quanteda内置函数,示例:

    dfm_with_dict <- dfm_lookup(my_dfm, dictionary = newsmap_dict)
    

内容的提问来源于stack exchange,提问作者Darius Kehler

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 08:06:08