大数据集（4400万行）下R语言While循环报错求助

报错原因 #

报错Error in while (n_words_doc < 1000) { : missing value where TRUE/FALSE needed的直接原因：

• 原代码行删除逻辑错误：complete_corpus <- complete_corpus[-chosen_row[1,3],]中，chosen_row[1,3]是原语料的行号，但complete_corpus是不断缩小的子集，其行位置与原语料行号不匹配。多次删除后，该索引会指向不存在的行，导致complete_corpus变为空数据框。
• 当complete_corpus为空时，sample_n(complete_corpus, 1)返回含NA的行，使得n_words_doc累加后变成NA，while循环的条件判断因存在NA而触发报错。

同时原代码针对4400万行语料存在严重效率问题：循环计算词数、逐行抽样+删除+rbind会导致内存爆炸和运行时间过长。

修复方案 #

1. 优化预处理（词数计算） #

用向量操作替代循环，大幅提升效率：

library(dplyr)

# 假设你的语料已读入为data.frame，列名为V1（文本内容）
corpus <- corpus %>%
  mutate(
    n_words = lengths(strsplit(V1, "\\W+")), # 计算每行词数
    id = row_number()
  )

2. 重构抽样逻辑 #

放弃逐行抽样删除的低效方式，改用随机打乱+累积词数截断的方法，既避免索引错误，又提升效率：

seed_count <- 1:100
target_words <- 7846610 # 真实语料的目标总词数

for(i in seed_count){
  set.seed(i)
  
  # 随机打乱所有行的顺序
  shuffled_corpus <- corpus %>% sample_frac(1)
  
  # 计算累积词数
  shuffled_corpus <- shuffled_corpus %>%
    mutate(cum_words = cumsum(n_words))
  
  # 找到第一个累积词数达标行的位置
  cutoff_idx <- which(shuffled_corpus$cum_words >= target_words)[1]
  
  # 截取达标前的所有行
  new_doc <- shuffled_corpus[1:cutoff_idx, ]
  
  # 输出结果
  write.table(new_doc$V1, paste0("corpus_boot_", i, ".txt"), 
              col.names = FALSE, row.names = FALSE, quote = FALSE)
}

方案优势 #

• 彻底解决索引错误导致的NA问题，逻辑更可靠；
• 运行效率提升几个数量级：随机打乱+累积计算避免了循环抽样和频繁的数据框修改；
• 内存占用更合理，无需维护不断缩小的语料子集。

内容的提问来源于stack exchange，提问作者la_lo_ca