You need to enable JavaScript to run this app. 如何批量读取目录下多CSV、处理前置行与读取报错并合并为单文件
优惠活动
大模型
产品
解决方案
定价
更多

如何批量读取目录下多CSV、处理前置行与读取报错并合并为单文件

批量CSV读取合并的问题排查与实现方案

核心问题根因

  • 固定skiprows参数失效:12月批次生成的文件前置报告行数量不固定,写死7行/15行的跳值逻辑,要么残留无关报告行触发格式报错,要么跳过全部有效内容触发空文件读取错误
  • 批量读取报错的触发逻辑:
    • pandas.errors.EmptyDataError:两类触发场景,一是glob匹配到0字节的占位空文件,二是固定skiprows值跳过了所有有效数据行,导致pandas读取不到可解析的列
    • field larger than field limit (131072):原有字段大小调整逻辑仅对csv标准库生效,pandas默认使用C解析引擎时未加载全局字段限制,遇到超长字段内容直接触发报错
    • 行格式错误、整数转C long失败:C解析引擎对列数一致性、字段长度的校验规则更严格,遇到部分生成不规范的坏行、超长字段就会直接抛出异常

健壮性实现方案

核心实现逻辑

  1. 废弃固定行数的skiprows逻辑,通过匹配有效表头的固定特征,动态定位每个CSV的真实数据起始行,适配不同文件前置报告行数不一致的问题
  2. 对每个批量匹配到的文件单独做异常捕获、前置校验,避免单个坏文件、空文件中断整个批量合并流程
  3. 全局兼容长字段解析,跳过不规范的坏行,适配12月批次的非标准CSV格式

参考实现代码

import glob
import pandas as pd
import sys
import csv
import os

# 全局配置csv字段大小上限,解决超长字段解析报错
maxInt = sys.maxsize
while True:
    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

# 按需替换为实际路径与表头识别特征
FILE_MATCH_RULE = r"C:\你的12月CSV存放路径\*_dec*.csv"
OUTPUT_MERGE_PATH = r"C:\合并文件输出路径\dec_logons_total.csv"
# 替换为你的有效表头里固定存在的列组合,用于定位真实数据起始行
HEADER_MATCH_KEY = "user_id,logon_time,action"

def read_single_csv(file_full_path):
    # 前置校验空文件,直接跳过不触发报错
    if os.path.getsize(file_full_path) == 0:
        print(f"跳过空文件:{file_full_path}")
        return None
    try:
        # 逐行扫描定位真实表头位置
        header_start_idx = None
        with open(file_full_path, "r", encoding="ISO-8859-1") as f:
            for line_idx, line_content in enumerate(f):
                cleaned_line = line_content.strip()
                if HEADER_MATCH_KEY in cleaned_line:
                    header_start_idx = line_idx
                    break
        # 未匹配到有效表头的文件直接跳过
        if header_start_idx is None:
            print(f"未识别到有效表头,跳过文件:{file_full_path}")
            return None
        # 动态计算跳过行数读取有效数据
        df = pd.read_csv(
            file_full_path,
            encoding="ISO-8859-1",
            sep=",",
            skiprows=header_start_idx,
            engine="python",
            on_bad_lines="skip",
            low_memory=False,
            dtype=str
        )
        # 二次校验读取结果是否为空
        if df.empty:
            print(f"读取后无有效数据,跳过文件:{file_full_path}")
            return None
        return df
    except Exception as e:
        print(f"读取文件{file_full_path}失败,错误信息:{str(e)}")
        return None

# 批量遍历匹配的文件
valid_df_list = []
matched_files = glob.glob(FILE_MATCH_RULE)
print(f"共匹配到{len(matched_files)}个待处理文件")
for csv_file in matched_files:
    file_df = read_single_csv(csv_file)
    if file_df is not None:
        valid_df_list.append(file_df)

# 合并输出文件
if valid_df_list:
    final_df = pd.concat(valid_df_list, ignore_index=True)
    final_df.to_csv(OUTPUT_MERGE_PATH, sep=";", index=False, encoding="ISO-8859-1")
    print(f"合并完成,共写入{len(final_df)}条有效数据")
else:
    print("未读取到任何有效数据,请检查文件路径与表头识别配置")

对应问题解决说明

  • skiprows不稳定问题:不再写死固定跳过行数,通过表头特征动态定位数据起始位置,兼容前置报告行数量不一致的异常文件
  • EmptyDataError:通过文件大小校验、读取结果二次校验,跳过空文件、无有效内容的文件,不会因为单个异常文件中断全流程
  • 字段超限、整数转换报错:全局配置csv字段大小限制,强制使用Python解析引擎,完全兼容长字段内容,规避C引擎的长度限制问题
  • 行格式错误问题:开启坏行自动跳过配置,所有内容按字符串类型读入,规避隐式类型转换触发的解析错误

内容的提问来源于stack exchange,提问作者Hubsandspokes

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 17:15:07