Python 如何在函数中实现支持断点续读的多CSV处理嵌套循环
断点续读逻辑实现方案
该需求完全可落地,核心改造不需要推翻现有循环流程,仅需增加本地进度持久化和读取位置校准两个模块即可,适配后续扩展到几十份CSV文件的场景。
核心改造思路
1. 解决进程重启后的进度丢失问题
Python脚本作为独立进程每次定时运行时,内存里的状态会完全清空,因此需要把每个CSV文件的已处理行号,以结构化格式存在本地状态文件中(推荐用json格式,读写简单无依赖)。
状态文件结构非常直观:
{ "file1.csv": 3, "file2.csv": 6, "file3.csv": 0, "file4.csv": 9 }
每次脚本启动时先读取这个文件,拿到每个CSV的上次读取位置;处理完每一批数据后立刻把最新位置写回,哪怕脚本中途崩溃,已经成功处理的进度也不会丢失。
2. 适配单文件的批次读取逻辑
原有固定读0-3行的逻辑,替换为每个文件的读取范围为:
- 起始行:本地状态文件里记录的已处理位置
- 结束行:起始行 + 单次处理批次的行数(原逻辑单次处理3行,可抽成全局常量方便调整)
边界规则: - 若读取时遇到文件末尾,直接记录当前已到的位置,下次定时运行时再检查文件是否有新增内容
- 若文件被覆盖、总长度比已记录的进度还短,说明文件内容被重置,需要把对应文件的进度重置为0再开始读取
3. 嵌套循环的函数化拆分
不需要把所有逻辑堆在主流程里,按功能拆成独立函数即可:
- 读/写状态文件的工具函数
- 单文件从指定行开始读取、执行业务逻辑的处理函数
- 遍历所有文件配置的主流程函数
变量按函数入参、返回值传递,不会出现嵌套循环跑不通的问题。
可直接复用的改造代码
代码完全兼容你现有xyz.func1的调用逻辑,仅补充了进度记录能力:
import json import time from abc.zzz import xyz # 全局配置:每个文件单次运行处理的行数,和原逻辑保持一致 BATCH_SIZE = 3 # 本地进度存储文件 STATE_FILE = "csv_run_progress.json" def load_progress(): """读取本地存储的各文件处理进度""" try: with open(STATE_FILE, "r") as f: return json.load(f) except FileNotFoundError: # 首次运行无状态文件,返回空字典 return {} def save_progress(progress_map): """把最新进度写回本地文件""" with open(STATE_FILE, "w") as f: json.dump(progress_map, f, indent=2) def process_single_csv(file_config, start_line, s_id): """处理单个CSV文件的指定行区间""" file_path = file_config["path"] biz_id = file_config["id"] processed_count = 0 with open(file_path, "r") as f: # 跳过所有已处理过的行,定位到上次中断的位置 for _ in range(start_line): if not f.readline(): # 已经读到文件末尾,直接返回当前进度 return start_line, s_id # 从断点位置开始读指定批次的行数 for _ in range(BATCH_SIZE): line = f.readline() if not line: break # 调用原有业务逻辑,无修改 xyz.func1( id_1=line.rstrip(), B_id=biz_id, s_id=s_id ) processed_count +=1 time.sleep(25) # 返回本次处理完成后的最新行位置 return start_line + processed_count, s_id def main(): # 原有文件配置,已补上原代码漏写的字典间逗号 path_id_map = [ {'path':'file1.csv', 'id': '12345678'}, {'path':'file2.csv', 'id': '44556677'}, {'path':'file3.csv', 'id': '33377799'}, {'path':'file4.csv', 'id': '66221144'} ] # 加载上次的处理进度 progress = load_progress() s_id = None for file_cfg in path_id_map: f_path = file_cfg["path"] # 取当前文件的上次读取位置,无记录则默认从0开始 current_pos = progress.get(f_path, 0) # 处理当前文件 new_pos, s_id = process_single_csv(file_cfg, current_pos, s_id) # 更新进度 progress[f_path] = new_pos # 每处理完一个文件就回写一次进度,避免中断丢数据 save_progress(progress) if __name__ == "__main__": main()
落地注意事项
- 状态文件写入建议增加临时文件替换的逻辑,防止脚本断电、异常退出时把状态文件写坏,导致进度丢失
- 如果你的CSV文件存在定期覆盖重写的场景,可在读取前增加文件修改时间、文件总长度的校验,匹配文件重置的场景
- 该结构完全支持扩展到几十上百个文件,状态文件会自动适配新增的文件配置项,不需要额外改造主流程
内容的提问来源于stack exchange,提问作者Dave99
相关产品推荐
相关产品推荐

