R语言批量合并目录文件时出现XML冗余列及xlsx读取报错问题咨询
异常XML表头NA列的根源解决方案
这类异常列不是合并环节生成的,是文件读取环节没做过滤带进来的:
- 你当前用
dir("path", full.names = T)是无差别扫描目录下所有文件,没有按后缀筛选目标文件,会把目录下的原始xlsx文件、系统隐藏临时文件、XML格式备份文件全部纳入读取范围。 - xlsx本质是压缩包结构,内部存储的XML部件开头就是
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>,当你用read.csv强行解析这类二进制文件时,会把流中拆出来的XML字符串识别为新列名,因为没有对应匹配的有效数据,最终生成整列全为NA的异常列,拼接到总数据框中就出现了你看到的问题。
从根源堵住该列的修改方法:
- 给
dir()增加后缀匹配规则,只读取目标CSV文件,非目标文件完全不进入读取流程:
fulldata <- dir("path", full.names = T, pattern = "\\.csv$") %>% map_df(read.csv)
- 针对部分WPS/老版Office导出的、文件开头直接带XML声明的CSV文件,可以在
read.csv中增加解析规则,直接把以<开头的XML行作为注释跳过,避免被识别为列名:
fulldata <- dir("path", full.names = T, pattern = "\\.csv$") %>% map_df(~read.csv(.x, comment.char = "<"))
直接合并为XLSX格式的实现方法
完全可以跳过CSV中转环节,直接批量读取xlsx文件合并为单个xlsx输出。你之前用map_df(read.xlsx)报错的核心原因就两个:
- 文件列表没做后缀过滤,把CSV、临时文件、非表格类文件的路径传给
read.xlsx,自然解析失败报错。 - 目录下存在损坏、加密的xlsx文件,
read.xlsx遇到异常文件会直接中断整个流程,没有容错机制。
可直接用的落地代码:
library(tidyverse) library(openxlsx) # 仅匹配xlsx后缀的目标文件 xlsx_list <- dir("path", full.names = T, pattern = "\\.xlsx$") # 给read.xlsx加容错机制,遇到损坏/加密的文件自动跳过,不中断整体流程 safe_read_xlsx <- purrr::possibly( .f = read.xlsx, .otherwise = dplyr::tibble() ) # 批量合并读取结果 merged_data <- xlsx_list %>% purrr::map_df(safe_read_xlsx) # 直接导出为单个xlsx文件 openxlsx::write.xlsx(merged_data, file = "path/合并结果.xlsx")
注意:如果你的文件是老版
.xls格式,把pattern参数改成"\\.xls$"即可,也可以按需切换读取函数为readxl::read_excel,兼容更多老旧表格格式。
内容的提问来源于stack exchange,提问作者rainbowthug
相关产品推荐
相关产品推荐

