如何优化超200万行tibble中size列的数值转换速度？

你的问题核心在于逐行循环在R中处理百万级数据时效率极低——R是向量型语言，逐行操作会带来大量的索引访问、条件判断和内存重新分配开销，导致运行时间爆炸。以下是几种高效的向量化优化方案：

方案1：用tidyverse工具链（dplyr + stringr） #

利用向量化的条件判断和字符串处理函数，一次性完成所有行的转换：

library(dplyr)
library(stringr)

# 生成转换后的数值列（保留原size列，避免直接修改）
example <- example %>%
  mutate(
    size_num = case_when(
      str_detect(size, "M$") ~ as.numeric(str_remove(size, "M$")) * 1000000,
      str_detect(size, "k$") ~ as.numeric(str_remove(size, "k$")) * 1000,
      !is.na(size) ~ as.numeric(size),
      TRUE ~ NA_real_
    )
  )

• str_detect批量判断每行的单位后缀
• str_remove批量移除单位字符
• case_when一次性处理所有行的条件分支，无需逐行循环

方案2：用readr简化数值提取 #

readr::parse_number可以自动提取字符串中的数值部分，省去手动截取的步骤：

library(readr)
library(dplyr)

example <- example %>%
  mutate(
    # 提取纯数值
    raw_num = parse_number(size),
    # 匹配单位并生成乘数
    multiplier = case_when(
      str_detect(size, "M$") ~ 1e6,
      str_detect(size, "k$") ~ 1e3,
      !is.na(size) ~ 1,
      TRUE ~ NA_real_
    ),
    # 计算最终数值
    size_num = raw_num * multiplier
  ) %>%
  select(-raw_num, -multiplier) # 可选：删除中间临时列

方案3：基础R原生实现（无需额外包） #

如果不想加载tidyverse，用基础R的向量函数同样能实现高效转换：

# 提取每行的单位后缀（NA值设为空字符串）
units <- substr(example$size, nchar(example$size), nchar(example$size))
units[is.na(units)] <- ""

# 提取纯数值部分
raw_nums <- as.numeric(gsub("[kM]$", "", example$size))

# 生成对应乘数
multipliers <- ifelse(units == "M", 1e6, ifelse(units == "k", 1e3, 1))
multipliers[is.na(example$size)] <- NA_real_

# 计算最终结果
example$size_num <- raw_nums * multipliers

进阶优化：用data.table处理超大数据 #

如果数据量超过千万级，data.table的内存效率和运行速度会比tibble更出色：

library(data.table)
setDT(example) # 将tibble转换为data.table

example[, size_num := {
  units = substr(size, nchar(size), nchar(size))
  units[is.na(units)] = ""
  raw_nums = as.numeric(gsub("[kM]$", "", size))
  multipliers = fcase(units == "M", 1e6, units == "k", 1e3, !is.na(size), 1)
  raw_nums * multipliers
}]

关键注意事项 #

• 避免在循环中直接修改原数据框的列：每次赋值都会触发内存重新分配，这是原代码慢的核心原因之一
• 优先保留原列，生成新的数值列：防止转换过程中丢失原始数据
• 向量化操作是R处理大数据的核心思路，尽量避免逐行循环

内容的提问来源于stack exchange，提问作者sam