如何检测并整理非关系型格式Excel数据为关系型表格？

R 端优化方案 #

• 批量读取+映射处理，替代显式循环
  用readxl+purrr组合批量处理文件，无需手写for循环：

  library(readxl)
  library(purrr)
  library(tidyr)
  library(dplyr)
  
  # 定义单个文件的处理函数
  process_single_file <- function(file_path) {
    # 读取文件（假设是第一个工作表）
    df <- read_excel(file_path)
    
    # 提取元数据：根据你的表格结构定位DATE、CLIENT NAME、TESTER的位置
    # 示例：假设这些信息在固定行/列，比如第一行是DATE，第二行是CLIENT，第三行是TESTER
    date_val <- df[1, 1][[1]]
    client_val <- df[2, 1][[1]]
    tester_val <- df[3, 1][[1]]
    
    # 定位测试数据区域：比如从第5行开始，前一列是TEST，后一列是MEASUREMENT
    test_data <- df[5:nrow(df), c("测试项", "数值")] # 替换成你的实际列名
    colnames(test_data) <- c("TEST", "MEASUREMENT")
    
    # 合并元数据和测试数据
    test_data %>%
      mutate(DATE = date_val,
             `CLIENT NAME` = client_val,
             TESTER = tester_val) %>%
      select(DATE, `CLIENT NAME`, TEST, MEASUREMENT, TESTER)
  }
  
  # 获取所有Excel文件路径（假设在指定目录下）
  file_paths <- list.files(path = "your_gdrive_local_path", pattern = "*.xlsx", full.names = TRUE)
  
  # 批量处理并合并成一个大表
  final_df <- map_dfr(file_paths, process_single_file)
  

• 异常处理：如果个别文件结构有偏差，用purrr::safely包裹处理函数，捕获问题文件单独排查：

  safe_process <- safely(process_single_file)
  results <- map(file_paths, safe_process)
  # 提取成功处理的数据
  success_data <- map_dfr(results, ~.x$result)
  # 查看失败的文件
  failed_files <- file_paths[map_lgl(results, ~!is.null(.x$error))]
  

Python 端优化方案 #

• 用pandas+glob实现批量处理，避免显式循环：

  import pandas as pd
  import glob
  
  def process_single_file(file_path):
      # 读取文件
      df = pd.read_excel(file_path)
      
      # 提取元数据：根据实际结构定位
      date_val = df.iloc[0, 0]
      client_val = df.iloc[1, 0]
      tester_val = df.iloc[2, 0]
      
      # 定位测试数据区域
      test_data = df.iloc[4:, [0, 1]] # 假设第5行开始，第1、2列是测试项和数值
      test_data.columns = ["TEST", "MEASUREMENT"]
      
      # 合并元数据
      test_data["DATE"] = date_val
      test_data["CLIENT NAME"] = client_val
      test_data["TESTER"] = tester_val
      
      # 调整列顺序
      return test_data[["DATE", "CLIENT NAME", "TEST", "MEASUREMENT", "TESTER"]]
  
  # 获取所有文件路径
  file_paths = glob.glob("your_gdrive_local_path/*.xlsx")
  
  # 批量处理合并
  final_df = pd.concat([process_single_file(fp) for fp in file_paths], ignore_index=True)
  

• 异常处理：用try-except捕获问题文件：

  success_dfs = []
  failed_files = []
  
  for fp in file_paths:
      try:
          success_dfs.append(process_single_file(fp))
      except Exception as e:
          failed_files.append((fp, str(e)))
  
  final_df = pd.concat(success_dfs, ignore_index=True)
  

是否需要循环？ #

如果所有文件的结构高度一致（毕竟是每日重复的模板），完全不需要手写显式循环，用上述的映射/列表推导式更简洁高效。只有当文件结构存在无法统一的差异时，才需要在循环中加入条件判断，针对性处理不同结构的文件，但这种情况在每日重复的场景下应该极少。

内容的提问来源于stack exchange，提问作者Adonis Cedeño