如何在R中批量处理多Sheet大XLSX文件：跳过介绍行并合并Sheet

可以实现，核心是利用XLSX文件的只读/流式解析能力，在不加载全量数据到内存的前提下定位有效数据起始行，再将多Sheet内容合并到单个输出文件。

核心思路 #

1. 对单个文件的每个Sheet，以只读模式逐行扫描，定位到包含Reference Key的行（作为表头行），跳过之前的介绍内容；
2. 仅将表头行（仅保留一次）及之后的有效数据，流式写入到输出文件的同一个Sheet中，全程不加载完整数据集。

具体实现（Python示例） #

使用openpyxl（只读解析大文件）和xlsxwriter（高效写入）组合，内存占用极低：

import openpyxl
import xlsxwriter

def process_and_merge_xlsx(input_file, output_file):
    # 初始化输出工作簿与工作表
    out_workbook = xlsxwriter.Workbook(output_file)
    out_worksheet = out_workbook.add_worksheet("Combined_Data")
    header_written = False

    # 只读模式打开输入文件（不加载全量数据）
    in_workbook = openpyxl.load_workbook(input_file, read_only=True, data_only=True)

    for sheet_name in in_workbook.sheetnames:
        in_sheet = in_workbook[sheet_name]
        header_row = None
        data_start_row = None

        # 逐行扫描，定位Reference Key所在行
        for idx, row in enumerate(in_sheet.iter_rows(values_only=True)):
            if row and "Reference Key" in row:
                header_row = row
                data_start_row = idx + 1  # 数据从表头下一行开始
                break
        
        if not data_start_row:
            print(f"警告：Sheet {sheet_name}未找到Reference Key，已跳过")
            continue

        # 写入表头（仅第一次执行）
        if not header_written:
            out_worksheet.write_row(0, 0, header_row)
            header_written = True
            current_row = 1
        else:
            current_row = out_worksheet.dim_rowmax + 1 if out_worksheet.dim_rowmax else 1

        # 流式写入有效数据
        for row_idx, data_row in enumerate(in_sheet.iter_rows(min_row=data_start_row, values_only=True)):
            out_worksheet.write_row(current_row + row_idx, 0, data_row)

    # 关闭文件释放资源
    in_workbook.close()
    out_workbook.close()

# 调用示例
process_and_merge_xlsx("your_large_file.xlsx", "merged_output.xlsx")

关键注意事项 #

• 代码默认Reference Key可能出现在行内任意位置，若确定在固定列（比如第一列），可将判断条件改为row[0] == "Reference Key"以提升扫描速度；
• openpyxl的只读模式会跳过格式信息，若需保留单元格格式，可调整解析逻辑；
• 批量处理多个文件时，可封装循环逻辑，注意输出文件的追加规则（避免覆盖已有内容）；
• 对于超大规模文件，可进一步优化行扫描逻辑（比如设置扫描上限，避免无意义遍历）。

内容的提问来源于stack exchange，提问作者doraemon