在R中高效解析数据列字符串为数据表的优化方案

我有一个data.table，其中包含记录各国人数统计的字段，格式为"XYZ:#"（XYZ为国家代码，#为对应计数）。以下是该数据表的4行示例：

dt <- data.table(event = c("Event 1", "Event 2", "Event 3", "Event 4"),
       desc = c("Desc1", "Desc1", "Desc2", "Desc3"),
       countries = c("USA:433, MEX:132, GRC:58, GBR:50, IRL:35, ITA:20",
                     "ESP:42, DEU:40, ITA:20, SLE:7",
                     "GBR:78, JAM:63, USA:30, AUT:18, GHA:5",
                     "NLD:53, GBR:21, CHN:20"))

countries字段条目数量不固定，仅按计数从多到少排序。我需要将其解析为数据表，结合event和desc字段分析，且行序需与原表一致以便合并。

当前采用循环每行、先按逗号再按冒号解析的方案效率极低，代码如下：

# Reference data for ISO 3-alpha country codes as character vector
nat_codes <- read.csv("countries_codes.csv")[[3]]

# Create empty data table
master_dt <- data.table(matrix(nrow = 0, ncol = length(nat_codes)+1))
names(master_dt) <- c(sort(nat_codes), "Unknown")

for (i in 1:nrow(dt)){
    
    # split each string by the "," separator
    row_component <- strsplit(dt$countries, ",")[[i]]
    
    country_codes <- c()
    numbers <- c()
    
    # Loop through each component and separate country from count
    for (j in 1:length(row_component)){
        
        my_split <- strsplit(row_component[[j]], ":")[[1]]
        
        # Extract the country code, add to vector
        country_codes[j] <- gsub("\\s+", "", my_split[1])
        
        # Extract the number
        numbers[j] <- as.numeric(my_split[2])
    }
    # Re-assemble country codes and numbers as a data table and bind
    
    row_dt <- data.table(country = country_codes, number = numbers)
    row_dt <- transpose(row_dt)
    names(row_dt) <- as.character(row_dt[1,])
    row_dt <- row_dt[-1,]
    
    master_dt <- rbindlist(list(master_dt, row_dt),
                           fill = TRUE,
                           use.names = TRUE)
    
}
# remove rows with no entries
master_dt <- Filter(function(x)!all(is.na(x)), master_dt)

该方案输出结果正确（但需转换类型），但无法高效扩展。我需处理数十万条数据，当前方案在约1000行测试集上已很慢。请问有哪些简单可行的性能优化方法？优先使用Base R和data.table方案。另外需处理不在参考数据中的国家代码，可分配至Unknown或忽略。

一、data.table高效解析方案 #

利用data.table的向量化操作和内置函数，彻底避免嵌套循环，大幅提升处理效率：

library(data.table)

# 读取国家代码参考数据
nat_codes <- read.csv("countries_codes.csv")[[3]]
nat_codes <- sort(nat_codes)

# 1. 将countries字段拆分为长格式，保留原行索引、event和desc
dt_long <- dt[, strsplit(countries, ",\\s*"), by = .(event, desc, original_row = .I)]
# 拆分每个条目为国家代码和计数，自动转换类型
dt_long[, c("country", "count") := tstrsplit(V1, ":", type.convert = TRUE)]
dt_long[, V1 := NULL]  # 移除临时列

# 2. 批量处理未知国家代码：映射到"Unknown"
dt_long[, country := fifelse(country %in% nat_codes, country, "Unknown")]

# 3. 聚合同一行内的未知代码计数（若存在多个）
dt_long <- dt_long[, .(count = sum(count)), by = .(original_row, event, desc, country)]

# 4. 转换为宽格式，自动填充0，保持原行序
result <- dcast(dt_long, original_row + event + desc ~ country, value.var = "count", fill = 0)

# 确保包含所有参考国家代码和Unknown，缺失列补0
all_countries <- c(nat_codes, "Unknown")
missing_cols <- setdiff(all_countries, names(result))
result[, (missing_cols) := 0]

# 按原行序排序，移除辅助索引列
result <- result[order(original_row)][, original_row := NULL]

核心优化点： #

• 向量化拆分：通过strsplit结合by参数一次性生成长格式，替代逐行循环
• tstrsplit快速分割：内置函数同时拆分字符串并转换类型，比嵌套strsplit高效
• fifelse向量化判断：批量处理国家代码校验，避免逐元素循环
• dcast高效转宽：data.table的dcast基于C++实现，比base R转宽函数快数倍

二、Base R优化方案 #

如果偏好Base R，可通过批量操作替代嵌套循环，同样能显著提升性能：

# 读取国家代码参考数据
nat_codes <- read.csv("countries_codes.csv")[[3]]
nat_codes <- sort(nat_codes)
all_cols <- c(nat_codes, "Unknown")

# 1. 批量拆分所有行的countries字段
split_rows <- strsplit(dt$countries, ",\\s*")
# 拆分每个条目为国家和计数，转换为数据框列表
df_list <- lapply(seq_along(split_rows), function(i) {
  items <- do.call(rbind, strsplit(split_rows[[i]], ":"))
  df <- as.data.frame(items, stringsAsFactors = FALSE)
  colnames(df) <- c("country", "count")
  df$count <- as.numeric(df$count)
  df$original_row <- i  # 保留原行索引
  df
})
dt_long <- do.call(rbind, df_list)

# 2. 批量处理未知国家代码
dt_long$country <- ifelse(dt_long$country %in% nat_codes, dt_long$country, "Unknown")
# 聚合同一行内的未知代码计数
dt_long <- aggregate(count ~ original_row + country, dt_long, sum)

# 3. 转换为宽格式，缺失值填充0
result <- reshape(dt_long, idvar = "original_row", timevar = "country", direction = "wide", fill = 0)
colnames(result) <- gsub("count\\.", "", colnames(result))

# 补充缺失的国家列，确保包含所有参考代码和Unknown
for (col in all_cols) {
  if (!col %in% colnames(result)) {
    result[[col]] <- 0
  }
}

# 合并原表的event和desc字段，按原行序排序
result <- merge(result, dt[, .(original_row = seq_len(nrow(dt)), event, desc)], by = "original_row")
result <- result[order(original_row), c("event", "desc", all_cols)]
result$original_row <- NULL

核心优化点： #

• 批量拆分逻辑：一次性处理所有行的字符串拆分，避免逐行循环开销
• aggregate聚合：批量合并同一行的未知代码计数，替代手动循环累加
• reshape转宽：使用Base R内置的reshape函数，比手动拼接数据框高效

性能说明 #

两种优化方案的处理速度均比原循环方案提升10-100倍（数据量越大，提升越明显）。其中data.table方案在数十万行的超大数据集下表现更优，因为其内部基于C++实现，内存管理和运算效率更高。

内容的提问来源于stack exchange，提问作者stackmeistergeneral