Python MySQL循环写CSV耗尽系统资源 运行十余表后系统无响应
批量CSV上传MySQL跑一段时间就无响应的原因与修复
代码里直接导致卡顿的几个核心问题
- 每处理一个文件就重新创建一次SQLAlchemy数据库引擎:
create_engine初始化的是带连接池的持久化连接对象,根本不是轻量的单次连接。哪怕后面调了dispose(),频繁创建、销毁连接池的操作会快速堆出大量操作系统临时端口占用、堆积MySQL端的TIME_WAIT残留连接,跑10多个文件后网络栈资源直接耗尽,程序看起来就像完全卡死没反应。 - 白做了分块读的优化:读CSV的时候明明设了
iterator=True, chunksize=1000,结果转头就pd.concat(tp)把所有分块全拼进一个大内存DataFrame,完全抵消了分块读的内存节省效果,单个几十MB的CSV拼完都能占几百MB内存,内存占用随文件数线性上涨,最后触发系统内存交换,操作起来就像死机一样。 - 无效的类型定义冗余:写表的
dtype参数里指定了根本不存在的symbol列类型,每次写表都会触发不必要的列类型校验开销,拖慢写入速度。 - 把错误信息完全吞了:异常捕获块只打印了文件名,根本没输出实际的报错内容,真出现连接数超限、写入超时、内存溢出的问题时,啥信息都看不到,只会以为是系统卡了。
- 循环里反复手动GC太冗余:Python自带的内存回收机制本来就会自动处理离开作用域的局部变量,循环里反复调
del+gc.collect()反而会频繁触发垃圾回收停顿,拖慢整体处理速度。
修复后的可直接运行版本
import os import pandas as pd from sqlalchemy import create_engine, String, DateTime from sqlalchemy.pool import QueuePool # 全局仅初始化一次数据库引擎,固定复用连接池,彻底避免频繁创建销毁连接的资源浪费 engine = create_engine( f'mysql+pymysql://{user}:{password}@{host}:{port}/{dbname}', poolclass=QueuePool, pool_size=5, # 固定连接池大小,不会随文件数增加不断涨连接数 max_overflow=10, pool_recycle=3600, # 自动回收空闲超过1小时的连接,避免MySQL端主动断连 echo=False ) for root, dirs, files in os.walk(dest_folder): for file in files: if not file.endswith('.csv'): continue # 跳过非csv文件,避免无效处理 symbol = file.replace('.csv', '') file_path = os.path.join(dest_folder, file) tablename = f's_{symbol}' try: # 全程分块处理,不把全量CSV加载进内存 tp = pd.read_csv( file_path, parse_dates=['Date'], date_parser=dateparse, header=0, index_col=None, iterator=True, chunksize=1000 ) seen_rows = set() # 逐块读、逐块去重、逐块写 for chunk in tp: # 按块做行哈希去重,替代原来全量DataFrame去重的高内存开销 chunk_hash = pd.util.hash_pandas_object(chunk, index=False) unique_mask = ~chunk_hash.isin(seen_rows) chunk = chunk[unique_mask] seen_rows.update(chunk_hash[unique_mask].tolist()) chunk.to_sql( name=tablename, con=engine, index=True, index_label='Id', chunksize=500, if_exists='append', dtype={ "Date": DateTime } # 删掉原代码里不存在的symbol列类型定义 ) # 单个文件处理完清空去重缓存 del seen_rows except Exception as e: # 打印完整错误信息,方便定位问题,不再吞异常 print(f'处理{symbol}的CSV时失败,错误详情: {str(e)}')
优化后的实际效果
- 连接资源占用下降90%以上:全局复用固定大小的连接池,不会出现端口耗尽、MySQL连接数打满的问题,哪怕处理几百个文件也不会卡。
- 内存占用从GB级降到百MB以内:全程分块读写,不管单个CSV多大,内存占用都稳定在分块大小的水平,不会随文件数增加持续涨内存。
- 问题可追溯:不再隐藏报错,真出现网络波动、表结构不匹配的问题,第一时间就能看到错误原因,不用等系统卡死再排查。
内容的提问来源于stack exchange,提问作者wesley Wang
相关产品推荐
相关产品推荐

