如何在R中基于独立主列表批量设置对应数据源的列类型？

我们可以利用主列表的规则，按数据源分组批量指定列类型，替代全局的.default参数（它适合统一处理所有列，但你的场景是不同列有不同目标类型）。以下是具体实现步骤：

1. 明确主列表结构 #

假设你的主列表CSV（比如master_list.csv）结构如下：

2. 读取主列表并整理转换规则 #

先把主列表读入R，然后按数据源分组，生成每个数据源对应的列-类型映射：

library(tidyverse)

# 读取主列表
master_list <- read_csv("master_list.csv")

# 按数据源分组，生成列名对应目标类型的命名列表
type_rules <- master_list %>%
  group_by(data_source) %>%
  summarise(col_types = set_names(target_type, column_name), .groups = "drop")

3. 编写批量处理函数 #

写一个函数，输入数据源名称和文件路径，根据主列表规则读取并转换列类型：

process_data_source <- function(data_source_name, data_path) {
  # 获取当前数据源的专属类型规则
  current_rules <- type_rules %>%
    filter(data_source == data_source_name) %>%
    pull(col_types) %>%
    first()
  
  # 把规则转为readr的cols格式：指定列按规则转换，其余列自动推断类型
  col_spec <- do.call(cols, c(current_rules, .default = cols(.default = "?")))
  
  # 读取并完成类型转换
  read_csv(data_path, col_types = col_spec)
}

4. 批量处理所有数据源 #

假设你有数据源名称与对应文件路径的映射表，批量处理即可：

# 示例：数据源名称和对应的文件路径
data_sources <- tibble(
  data_source = c("Pancake Data", "Waffle Data"),
  file_path = c("pancake_data.csv", "waffle_data.csv")
)

# 批量处理，得到所有转换后的数据框列表
processed_data_list <- map2(data_sources$data_source, data_sources$file_path, process_data_source)

关键补充 #

• 之前.default失效的原因：.default是给所有未指定列设置统一类型，但你的需求是指定列转特定类型，其余列保持自动识别，所以需要单独定义目标列的规则，再用.default = "?"让readr自动推断其余列类型（也可改成固定类型，比如.default = "c"）。
• target_type的取值要对应readr的类型缩写：chr（字符）、dbl（数值）、date（日期）、logi（逻辑）等，完整缩写可查看?cols文档。
• 如果数据源已经是读入的data.frame，可用dplyr::mutate()结合across()批量转换：

  # 示例：对已读入的pancake_data做类型转换
  pancake_rules <- type_rules %>%
    filter(data_source == "Pancake Data") %>%
    pull(col_types) %>%
    first()
  
  pancake_data_processed <- pancake_data %>%
    across(names(pancake_rules), ~ do.call(parse_guess, list(., col_type = pancake_rules[[cur_column()]])))
  

内容的提问来源于stack exchange，提问作者pancake