如何编写循环代码批量导入50个xlsx/CSV到主Excel对应工作表?
批量Excel/CSV数据导入主工作簿实现方案
本方案完全复用你已有的单文件跨工作表复制逻辑,仅补充批量循环能力与CSV格式适配层,无需重构原有单文件写入的核心代码
核心实现思路
- 梳理源文件与主文件目标工作表的映射关系,避免批量导入时错位
- 搭建统一数据读取适配层,针对xlsx和csv格式输出相同结构的标准化二维数据,后续写入逻辑无需区分源文件格式
- 逐文件调用已有的单文件数据复制方法,将标准化数据写入对应目标工作表
- 全量文件处理完成后统一保存主文件,减少反复读写的性能损耗
关键改造模块
1. 自动映射配置
针对50个文件与主表MS1、MS2...的对应规则,实现自动匹配减少手动配置成本,同时保留自定义调整入口:
import os import csv from openpyxl import load_workbook # 配置区 source_dir = "./source_files" # 存放所有待导入xlsx/csv文件的目录 main_file_path = "./M.xlsx" # 主文件路径 # 自动生成映射关系 file_to_sheet_mapping = {} # 提取目录下所有xlsx、csv文件,按文件名字典序排序 source_files = sorted([ f for f in os.listdir(source_dir) if f.endswith((".xlsx", ".csv")) ]) # 按排序顺序依次对应MS1、MS2...MSn for idx, file_name in enumerate(source_files, start=1): file_to_sheet_mapping[file_name] = f"MS{idx}" # 导入前可打印映射表人工核对,避免错位 print("待执行导入映射关系:", file_to_sheet_mapping)
2. 多格式统一读取适配层
拆分xlsx和csv的读取逻辑,统一输出二维列表结构,让原有单文件写入逻辑无需修改即可适配两种格式:
def read_source_data(file_path: str) -> list: """读取源文件全量数据,返回标准化二维列表""" file_ext = os.path.splitext(file_path)[1] data = [] if file_ext == ".xlsx": # 只读模式加载大文件,提升处理速度 wb = load_workbook(file_path, read_only=True, data_only=True) # 源文件仅含1个工作表,直接取活动工作表数据 ws = wb.active for row in ws.iter_rows(values_only=True): data.append(list(row)) wb.close() elif file_ext == ".csv": # 自动兼容utf-8、gbk两种常见中文CSV编码,避免乱码 for encoding in ["utf-8-sig", "gbk"]: try: with open(file_path, "r", encoding=encoding) as f: reader = csv.reader(f) for row in reader: data.append(row) break except UnicodeDecodeError: continue return data
3. 批量写入执行逻辑
直接对接你已有的单文件复制粘贴核心逻辑,替换为循环调用模式:
def write_to_main_sheet(main_wb, target_sheet_name: str, source_data: list): """将标准化数据写入主文件对应工作表,可直接替换为你原有的单文件写入逻辑""" if target_sheet_name not in main_wb.sheetnames: raise ValueError(f"主文件中未找到目标工作表:{target_sheet_name}") target_ws = main_wb[target_sheet_name] # 可选:清空目标表原有残留数据 target_ws.delete_rows(1, target_ws.max_row) # 逐行逐列写入 for row_idx, row_val in enumerate(source_data, start=1): for col_idx, cell_val in enumerate(row_val, start=1): target_ws.cell(row=row_idx, column=col_idx, value=cell_val)
总执行流程
将各模块串联完成全量导入:
# 加载主文件 main_wb = load_workbook(main_file_path) # 遍历所有待导入文件 for file_name, target_sheet in file_to_sheet_mapping.items(): full_source_path = os.path.join(source_dir, file_name) print(f"正在导入:{file_name} -> {target_sheet}") # 读取源数据 source_data = read_source_data(full_source_path) # 写入主表 write_to_main_sheet(main_wb, target_sheet, source_data) # 全量完成后保存 main_wb.save(main_file_path) print("所有文件导入完成")
注意事项
- 性能优化:处理50个文件规模时,xlsx读取启用
read_only=True模式可将内存占用降低70%以上 - 格式兼容:CSV读取模块内置双编码自动适配,可覆盖99%以上的中文CSV乱码场景
- 错位校验:正式执行批量导入前,务必先打印映射关系表,核对文件与目标工作表的对应顺序是否符合预期
- 格式保留:如果需要保留源文件的单元格样式(字体、颜色、公式),可关闭xlsx读取阶段的
read_only和data_only参数,逐单元格复制样式属性即可
内容的提问来源于stack exchange,提问作者anvesh erugu
相关产品推荐
相关产品推荐

