如何在R中提取文本文件内回归分析特定结果并转存CSV

问题描述 #

我正在尝试在R中从文本文件提取特定信息，该文件包含多组lm回归输出（每组对应不同的i）。文件中的文本示例如下：

Call:

lm(formula = Water ~ PeteWaterAbsMeanbyPeak[, i], data = PeteWaterAbsMeanbyPeak)

Residuals:
       Min         1Q     Median         3Q        Max 
-3.602e-06 -1.431e-06 -1.400e-09  1.041e-06  6.586e-06 

Coefficients (from R output):

                             Estimate Std. Error t value Pr(>|t|)    
(Intercept)                 3.649e-05  9.585e-07  38.067 1.55e-15 ***
PeteWaterAbsMeanbyPeak[, i] 2.738e-03  1.418e-03   1.931    0.074 .  

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.386e-06 on 14 degrees of freedom
Multiple R-squared:  0.2104,    Adjusted R-squared:  0.154 
F-statistic:  3.73 on 1 and 14 DF,  p-value: 0.07395

目标是提取每组中PeteWaterAbsMeanbyPeak[, i]对应的t value、Pr(>|t|)，以及关联的Multiple R-squared、Adjusted R-squared，并将这些数据保存为CSV文件。请问该如何对文件中的每个模块执行此操作？是否可以直接将该文本文件转换为表格？

解决方案 #

步骤1：读取文本并拆分回归模块 #

先把文本文件读入R，再以Call:为标识拆分出独立的回归块：

# 读取目标文本文件
text_data <- readLines("your_regression_file.txt")

# 定位所有回归块的起始行
start_pos <- which(grepl("^Call:", text_data))
# 计算每个块的结束行
end_pos <- c(start_pos[-1] - 1, length(text_data))

# 拆分得到单个回归块的列表
reg_blocks <- mapply(function(s, e) paste(text_data[s:e], collapse = "\n"), 
                     start_pos, end_pos, SIMPLIFY = FALSE)

步骤2：编写提取函数处理单个块 #

用正则表达式精准抓取目标统计量：

extract_single_block <- function(block) {
  # 提取PeteWaterAbsMeanbyPeak[,i]的t值和p值
  coeff_row <- grep("PeteWaterAbsMeanbyPeak\\[, i\\]", strsplit(block, "\n")[[1]], value = TRUE)
  coeff_vals <- strsplit(gsub("\\s+", " ", coeff_row), " ")[[1]]
  t_val <- as.numeric(coeff_vals[4])
  pr_val <- as.numeric(coeff_vals[5])
  
  # 提取Multiple R-squared
  r2_val <- as.numeric(sub(".*Multiple R-squared:\\s*(\\d+\\.\\d+).*", "\\1", 
                           grep("Multiple R-squared:", strsplit(block, "\n")[[1]], value = TRUE)))
  
  # 提取Adjusted R-squared
  adj_r2_val <- as.numeric(sub(".*Adjusted R-squared:\\s*(\\d+\\.\\d+).*", "\\1", 
                               grep("Adjusted R-squared:", strsplit(block, "\n")[[1]], value = TRUE)))
  
  # 返回单块结果的数据框
  data.frame(
    t_value = t_val,
    Pr_gt_t = pr_val,
    Multiple_R_squared = r2_val,
    Adjusted_R_squared = adj_r2_val
  )
}

步骤3：批量处理并保存为CSV #

对所有回归块应用提取函数，合并结果后导出：

# 批量提取所有块的统计量
all_results <- do.call(rbind, lapply(reg_blocks, extract_single_block))

# 添加分组标识（区分不同的i）
all_results$group_i <- seq_along(reg_blocks)

# 保存为CSV文件
write.csv(all_results, "regression_stats_extracted.csv", row.names = FALSE)

关于直接转换为表格的说明 #

原始回归输出是结构化但非标准表格格式的文本，包含注释、分段等内容，直接转换为完整表格容易引入无效数据。用正则表达式定向提取目标字段是更可靠的方式，能精准获取所需统计量，避免无关内容干扰。

内容的提问来源于stack exchange，提问作者Melanie Zoelck