R语言：词频加权字符统计的内存友好实现方案求助

问题根源 #

你之前得到异常结果的核心原因是数据框中词频列f是字符类型：使用cbind创建数据框时，矩阵会强制所有元素类型统一，数值型的f被转换为字符型，后续加权计算时出现逻辑错误。

步骤1：修正数据类型 #

先确保词频列是数值型，正确创建数据框：

w = c("abandon", "break", "fuzz", "when")
f = c(2, 10, 8, 200)
# 直接创建数据框，避免cbind导致的类型转换
df = data.frame(w = w, f = f, stringsAsFactors = FALSE)

# 如果已有错误数据框，执行类型转换
# df$f <- as.numeric(df$f)

步骤2：用ds4psy包高效加权统计 #

使用mapply逐词处理，结合count_chars生成加权字符统计，最后汇总结果：

library(ds4psy)

# 定义单词语符加权统计函数
weighted_char_count <- function(word, freq) {
  # 统计单词字符，忽略空格、转小写
  char_cnt <- count_chars(word, include_spaces = FALSE, to_lower = TRUE)
  # 按词频加权
  char_cnt * freq
}

# 对每个单词应用函数，得到加权统计列表
weighted_list <- mapply(weighted_char_count, df$w, df$f, SIMPLIFY = FALSE)

# 合并所有结果，按字符汇总
totalcount <- colSums(do.call(rbind, weighted_list))
# 按a-z排序输出
totalcount <- totalcount[order(names(totalcount))]

替代方案：无需额外包的base R实现 #

如果同事设备无法安装ds4psy，可以用base R的strsplit和table实现，内存占用更低：

# base R版加权统计函数
weighted_char_count_base <- function(word, freq) {
  # 拆分单词为单个字符，转小写
  chars <- strsplit(tolower(word), "")[[1]]
  # 统计字符出现次数
  char_cnt <- table(chars)
  # 补全26个字母，避免缺失项
  all_letters <- letters
  char_cnt_full <- as.numeric(char_cnt[all_letters])
  char_cnt_full[is.na(char_cnt_full)] <- 0
  names(char_cnt_full) <- all_letters
  # 加权后返回
  char_cnt_full * freq
}

# 生成加权统计列表并汇总
weighted_list_base <- mapply(weighted_char_count_base, df$w, df$f, SIMPLIFY = FALSE)
totalcount_base <- colSums(do.call(rbind, weighted_list_base))

验证结果 #

以示例数据为例，正确的汇总结果应为：

a  b  d  e  f  h  k  n  o  r  u  w  z 
14 12  2 210  8 200 10 204  2 10  8 200 16 

其余未出现的字母计数为0。

内容的提问来源于stack exchange，提问作者user20412