如何为百万行数据框的text变量随机打乱单词顺序？

问题重现 #

你有一个包含文本的大型DataFrame，希望随机打乱每个字符串中的单词顺序，预处理后的示例数据代码如下：

library(stringi)
require(tidyverse)

set.seed(123)

n <- 100
df <- data.frame(id = 1:n,
                 text = rep(stri_rand_lipsum(n)))

# 预处理步骤
df <- df %>%
  mutate(text = tolower(text),
         text = gsub("[[:punct:]]", "", text))

高效解决方案（适配百万级数据） #

方法1：stringi + purrr（兼顾简洁与效率） #

借助stringi的高效字符串拆分能力，结合purrr批量处理每个字符串的单词重排：

set.seed(123) # 固定随机种子保证结果可复现

df_shuffled <- df %>%
  mutate(shuffled_text = map_chr(text, function(x) {
    # 拆分字符串为单词列表
    words <- stri_split(x, regex = "\\s+")[[1]]
    # 随机打乱后合并为字符串
    stri_join(sample(words), collapse = " ")
  }))

• 优势：stringi的字符串操作性能优于基础包，在tidyverse生态中使用便捷，适合中等规模到大规模数据。

方法2：基础R矢量化实现（低开销极速处理） #

用基础R函数完成拆分、打乱、合并的全流程，避免额外依赖，是百万行数据的最优选择之一：

set.seed(123)

# 定义单词打乱函数
shuffle_words <- function(str) {
  words <- strsplit(str, "\\s+")[[1]]
  paste(sample(words), collapse = " ")
}

# 批量处理文本列
df$shuffled_text <- sapply(df$text, shuffle_words)

• 优势：基础R函数的运行开销最小，sapply的矢量化处理速度极快，适合百万级数据的快速处理。

方法3：data.table极致性能方案（千万级数据首选） #

如果数据量达到千万级，data.table的内存管理和原地修改能力能大幅提升处理效率：

library(data.table)
# 转换为data.table格式
setDT(df)

set.seed(123)
# 原地添加打乱后的文本列
df[, shuffled_text := sapply(text, function(x) {
  paste(sample(strsplit(x, "\\s+")[[1]]), collapse = " ")
})]

• 优势：data.table的:=运算符实现原地修改，无需复制整个数据集，内存占用更低，处理超大规模数据时优势显著。

注意事项 #

• 预处理后的文本需保证单词仅用空格分隔（你的现有预处理步骤已移除标点并统一为小写，满足要求）；
• 若遇到空字符串或仅含单个单词的字符串，sample函数会自动返回原内容，无需额外判断；
• 固定set.seed()可以让打乱结果可复现，方便后续验证。

内容的提问来源于stack exchange，提问作者ecl