如何批量读取目录下多CSV、处理前置行与读取报错并合并为单文件
批量CSV读取合并的问题排查与实现方案
核心问题根因
- 固定
skiprows参数失效:12月批次生成的文件前置报告行数量不固定,写死7行/15行的跳值逻辑,要么残留无关报告行触发格式报错,要么跳过全部有效内容触发空文件读取错误 - 批量读取报错的触发逻辑:
pandas.errors.EmptyDataError:两类触发场景,一是glob匹配到0字节的占位空文件,二是固定skiprows值跳过了所有有效数据行,导致pandas读取不到可解析的列field larger than field limit (131072):原有字段大小调整逻辑仅对csv标准库生效,pandas默认使用C解析引擎时未加载全局字段限制,遇到超长字段内容直接触发报错- 行格式错误、整数转C long失败:C解析引擎对列数一致性、字段长度的校验规则更严格,遇到部分生成不规范的坏行、超长字段就会直接抛出异常
健壮性实现方案
核心实现逻辑
- 废弃固定行数的skiprows逻辑,通过匹配有效表头的固定特征,动态定位每个CSV的真实数据起始行,适配不同文件前置报告行数不一致的问题
- 对每个批量匹配到的文件单独做异常捕获、前置校验,避免单个坏文件、空文件中断整个批量合并流程
- 全局兼容长字段解析,跳过不规范的坏行,适配12月批次的非标准CSV格式
参考实现代码
import glob import pandas as pd import sys import csv import os # 全局配置csv字段大小上限,解决超长字段解析报错 maxInt = sys.maxsize while True: try: csv.field_size_limit(maxInt) break except OverflowError: maxInt = int(maxInt/10) # 按需替换为实际路径与表头识别特征 FILE_MATCH_RULE = r"C:\你的12月CSV存放路径\*_dec*.csv" OUTPUT_MERGE_PATH = r"C:\合并文件输出路径\dec_logons_total.csv" # 替换为你的有效表头里固定存在的列组合,用于定位真实数据起始行 HEADER_MATCH_KEY = "user_id,logon_time,action" def read_single_csv(file_full_path): # 前置校验空文件,直接跳过不触发报错 if os.path.getsize(file_full_path) == 0: print(f"跳过空文件:{file_full_path}") return None try: # 逐行扫描定位真实表头位置 header_start_idx = None with open(file_full_path, "r", encoding="ISO-8859-1") as f: for line_idx, line_content in enumerate(f): cleaned_line = line_content.strip() if HEADER_MATCH_KEY in cleaned_line: header_start_idx = line_idx break # 未匹配到有效表头的文件直接跳过 if header_start_idx is None: print(f"未识别到有效表头,跳过文件:{file_full_path}") return None # 动态计算跳过行数读取有效数据 df = pd.read_csv( file_full_path, encoding="ISO-8859-1", sep=",", skiprows=header_start_idx, engine="python", on_bad_lines="skip", low_memory=False, dtype=str ) # 二次校验读取结果是否为空 if df.empty: print(f"读取后无有效数据,跳过文件:{file_full_path}") return None return df except Exception as e: print(f"读取文件{file_full_path}失败,错误信息:{str(e)}") return None # 批量遍历匹配的文件 valid_df_list = [] matched_files = glob.glob(FILE_MATCH_RULE) print(f"共匹配到{len(matched_files)}个待处理文件") for csv_file in matched_files: file_df = read_single_csv(csv_file) if file_df is not None: valid_df_list.append(file_df) # 合并输出文件 if valid_df_list: final_df = pd.concat(valid_df_list, ignore_index=True) final_df.to_csv(OUTPUT_MERGE_PATH, sep=";", index=False, encoding="ISO-8859-1") print(f"合并完成,共写入{len(final_df)}条有效数据") else: print("未读取到任何有效数据,请检查文件路径与表头识别配置")
对应问题解决说明
- skiprows不稳定问题:不再写死固定跳过行数,通过表头特征动态定位数据起始位置,兼容前置报告行数量不一致的异常文件
- EmptyDataError:通过文件大小校验、读取结果二次校验,跳过空文件、无有效内容的文件,不会因为单个异常文件中断全流程
- 字段超限、整数转换报错:全局配置csv字段大小限制,强制使用Python解析引擎,完全兼容长字段内容,规避C引擎的长度限制问题
- 行格式错误问题:开启坏行自动跳过配置,所有内容按字符串类型读入,规避隐式类型转换触发的解析错误
内容的提问来源于stack exchange,提问作者Hubsandspokes
相关产品推荐
相关产品推荐

