如何在R中批量实现多CSV文件两两配对计算相关性？

需求说明 #

你有多个CSV文件，需要生成所有不重复的两两文件对，按id列合并后，计算两个文件score列的相关性，最终保存所有结果。

解决方案代码 #

可以用R的tidyverse工具链（或基础R函数）实现批量处理，以下是完整可运行的代码：

# 加载所需包（未安装先执行：install.packages(c("tidyverse", "readr"))）
library(tidyverse)

# 定义文件路径列表
files <- c("/Users/st/Desktop/Form_Number_1.csv",
           "/Users/st/Desktop/Form_Number_2.csv",
           "/Users/st/Desktop/Form_Number_3.csv",
           "/Users/st/Desktop/Form_Number_4.csv")

# 1. 批量读取所有CSV文件，存入列表并命名（方便后续识别文件对）
file_list <- files %>%
  set_names(basename(.)) %>%  # 用文件名作为列表元素名称
  map(read_csv)

# 2. 生成所有不重复的两两文件组合（无序对，避免重复计算）
file_pairs <- combn(names(file_list), 2, simplify = FALSE)

# 3. 遍历每个文件对，执行合并、计算相关性的操作
cor_results <- file_pairs %>%
  map_dfr(function(pair) {
    # 获取当前文件对的两个数据集
    dat1 <- file_list[[pair[1]]]
    dat2 <- file_list[[pair[2]]]
    
    # 按id合并数据
    merged_dat <- merge(dat1, dat2, by = "id")
    
    # 计算score列的相关性（默认Pearson，可通过method参数调整为spearman/kendall）
    corr_value <- cor(merged_dat$score.x, merged_dat$score.y, use = "complete.obs")
    
    # 返回包含文件对和相关性结果的行
    tibble(
      file1 = pair[1],
      file2 = pair[2],
      pearson_correlation = corr_value
    )
  })

# 4. 将结果保存为CSV文件（可自定义保存路径）
write_csv(cor_results, "/Users/st/Desktop/correlation_results.csv")

代码解释 #

• 批量读取文件：用map一次性读取所有CSV，set_names给列表元素加上文件名，后续能清晰识别是哪两个文件的组合。
• 生成文件对：combn(..., simplify=FALSE)生成所有无序两两组合，比如c("Form_Number_1.csv", "Form_Number_2.csv")，不会重复生成反向组合。
• 计算相关性：map_dfr遍历每个文件对，合并数据后计算相关性，自动将所有结果整合成一个数据框；use="complete.obs"自动忽略缺失值，避免计算报错。
• 保存结果：用write_csv把最终相关性结果保存到指定路径，方便后续查看。

基础R版本（无需tidyverse） #

如果不想依赖tidyverse包，也可以用基础R实现：

# 定义文件路径
files <- c("/Users/st/Desktop/Form_Number_1.csv",
           "/Users/st/Desktop/Form_Number_2.csv",
           "/Users/st/Desktop/Form_Number_3.csv",
           "/Users/st/Desktop/Form_Number_4.csv")

# 批量读取文件
file_list <- lapply(files, read.csv)
names(file_list) <- basename(files)

# 生成文件对
file_pairs <- combn(names(file_list), 2, simplify = FALSE)

# 计算相关性并整理结果
cor_results <- do.call(rbind, lapply(file_pairs, function(pair) {
  dat1 <- file_list[[pair[1]]]
  dat2 <- file_list[[pair[2]]]
  merged_dat <- merge(dat1, dat2, by = "id")
  corr_value <- cor(merged_dat$score.x, merged_dat$score.y, use = "complete.obs")
  data.frame(file1 = pair[1], file2 = pair[2], pearson_correlation = corr_value)
}))

# 保存结果
write.csv(cor_results, "/Users/st/Desktop/correlation_results.csv", row.names = FALSE)

内容的提问来源于stack exchange，提问作者amisos55