如何读取并整理多份CSV文件为标准化数据框/tibble

看起来你已经成功把所有CSV文件读成了一个长表，但卡在了把它转换成目标格式这一步——别担心，我们可以用tidyverse工具链高效完成这个整理工作，而且比循环单独读取快得多。

问题分析 #

你的每个CSV文件里，ID和Unit是该文件的全局属性，而其他键值对（比如length:555、volume:111）是需要拆分成单独行的度量项。核心思路是：按文件分组，提取每个文件的全局属性，再把度量项展开成目标行结构。

完整解决方案代码 #

# 加载需要的包
library(tidyverse)

# 设置路径并获取所有CSV文件
path <- "D:/Scripts/R_projects/Pictures"
setwd(path)
csv_list <- list.files(path, pattern = "\\.csv$", full.names = TRUE)

# 读取所有文件，保留文件标识用于分组，同时去除文本两端空格
data_raw <- map_dfr(
  csv_list, 
  ~read.table(
    ., 
    skip = 1, 
    sep = ":", 
    strip.white = TRUE,  # 去掉键和值两边的空格，避免匹配问题
    header = FALSE
  ), 
  .id = "file_id"  # 添加文件标识列，用于分组
)

# 整理成目标格式
data_clean <- data_raw %>%
  # 给列起清晰的名字
  rename(Variable = V1, Value = V2) %>%
  # 按每个文件分组处理
  group_by(file_id) %>%
  # 提取当前文件的ID和Unit值，赋值给每一行
  mutate(
    ID = first(Value[Variable == "ID"]),
    Unit = first(Value[Variable == "Unit"])
  ) %>%
  # 过滤掉不需要作为度量项的变量（ID、View、Unit）
  filter(!Variable %in% c("ID", "View", "Unit")) %>%
  # 重命名列到目标格式
  rename(Measure = Variable) %>%
  # 调整列的顺序，匹配期望输出
  select(ID, Unit, Value, Measure) %>%
  # 取消分组
  ungroup() %>%
  # 可选：把Value转换成数值类型（根据你的后续需求决定）
  mutate(Value = as.numeric(Value))

# 查看最终结果
print(data_clean)

关键步骤解释 #

1. 读取文件时的优化：

   • 用map_dfr替代map_df并加上.id参数，能追踪每一行来自哪个文件，确保全局属性（ID、Unit）能正确对应到所属文件的度量项。
   • strip.white = TRUE自动去掉键和值两端的空格（比如原文件里的 length:555会变成length:555），避免后续匹配变量名时出现错误。

2. 分组处理全局属性：

   • 按file_id分组后，用first(Value[Variable == "ID"])提取当前文件的ID值，并把这个值赋值给该文件的所有行——这样每个度量行都能带上正确的ID和Unit。

3. 过滤与整理列：

   • 过滤掉ID、View、Unit这些不需要作为度量项的行，只保留实际的度量数据。
   • 最后调整列的顺序，转换成你需要的格式。

这个方法完全基于你已经读取的长表进行整理，不需要循环单独读取文件，效率会高很多，而且结果完全符合你的期望输出。

内容的提问来源于stack exchange，提问作者Carina Edel