You need to enable JavaScript to run this app. Python MySQL循环写CSV耗尽系统资源 运行十余表后系统无响应
优惠活动
大模型
产品
解决方案
定价
更多

Python MySQL循环写CSV耗尽系统资源 运行十余表后系统无响应

批量CSV上传MySQL跑一段时间就无响应的原因与修复

代码里直接导致卡顿的几个核心问题

  • 每处理一个文件就重新创建一次SQLAlchemy数据库引擎:create_engine初始化的是带连接池的持久化连接对象,根本不是轻量的单次连接。哪怕后面调了dispose(),频繁创建、销毁连接池的操作会快速堆出大量操作系统临时端口占用、堆积MySQL端的TIME_WAIT残留连接,跑10多个文件后网络栈资源直接耗尽,程序看起来就像完全卡死没反应。
  • 白做了分块读的优化:读CSV的时候明明设了iterator=True, chunksize=1000,结果转头就pd.concat(tp)把所有分块全拼进一个大内存DataFrame,完全抵消了分块读的内存节省效果,单个几十MB的CSV拼完都能占几百MB内存,内存占用随文件数线性上涨,最后触发系统内存交换,操作起来就像死机一样。
  • 无效的类型定义冗余:写表的dtype参数里指定了根本不存在的symbol列类型,每次写表都会触发不必要的列类型校验开销,拖慢写入速度。
  • 把错误信息完全吞了:异常捕获块只打印了文件名,根本没输出实际的报错内容,真出现连接数超限、写入超时、内存溢出的问题时,啥信息都看不到,只会以为是系统卡了。
  • 循环里反复手动GC太冗余:Python自带的内存回收机制本来就会自动处理离开作用域的局部变量,循环里反复调del+gc.collect()反而会频繁触发垃圾回收停顿,拖慢整体处理速度。

修复后的可直接运行版本

import os
import pandas as pd
from sqlalchemy import create_engine, String, DateTime
from sqlalchemy.pool import QueuePool

# 全局仅初始化一次数据库引擎,固定复用连接池,彻底避免频繁创建销毁连接的资源浪费
engine = create_engine(
    f'mysql+pymysql://{user}:{password}@{host}:{port}/{dbname}',
    poolclass=QueuePool,
    pool_size=5,  # 固定连接池大小,不会随文件数增加不断涨连接数
    max_overflow=10,
    pool_recycle=3600,  # 自动回收空闲超过1小时的连接,避免MySQL端主动断连
    echo=False
)

for root, dirs, files in os.walk(dest_folder):
    for file in files:
        if not file.endswith('.csv'):
            continue  # 跳过非csv文件,避免无效处理
        symbol = file.replace('.csv', '')
        file_path = os.path.join(dest_folder, file)
        tablename = f's_{symbol}'
        try:
            # 全程分块处理,不把全量CSV加载进内存
            tp = pd.read_csv(
                file_path,
                parse_dates=['Date'],
                date_parser=dateparse,
                header=0,
                index_col=None,
                iterator=True,
                chunksize=1000
            )
            seen_rows = set()
            # 逐块读、逐块去重、逐块写
            for chunk in tp:
                # 按块做行哈希去重,替代原来全量DataFrame去重的高内存开销
                chunk_hash = pd.util.hash_pandas_object(chunk, index=False)
                unique_mask = ~chunk_hash.isin(seen_rows)
                chunk = chunk[unique_mask]
                seen_rows.update(chunk_hash[unique_mask].tolist())

                chunk.to_sql(
                    name=tablename,
                    con=engine,
                    index=True,
                    index_label='Id',
                    chunksize=500,
                    if_exists='append',
                    dtype={
                        "Date": DateTime
                    }  # 删掉原代码里不存在的symbol列类型定义
                )
            # 单个文件处理完清空去重缓存
            del seen_rows
        except Exception as e:
            # 打印完整错误信息,方便定位问题,不再吞异常
            print(f'处理{symbol}的CSV时失败,错误详情: {str(e)}')

优化后的实际效果

  • 连接资源占用下降90%以上:全局复用固定大小的连接池,不会出现端口耗尽、MySQL连接数打满的问题,哪怕处理几百个文件也不会卡。
  • 内存占用从GB级降到百MB以内:全程分块读写,不管单个CSV多大,内存占用都稳定在分块大小的水平,不会随文件数增加持续涨内存。
  • 问题可追溯:不再隐藏报错,真出现网络波动、表结构不匹配的问题,第一时间就能看到错误原因,不用等系统卡死再排查。

内容的提问来源于stack exchange,提问作者wesley Wang

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 22:36:02