You need to enable JavaScript to run this app. Python 如何在函数中实现支持断点续读的多CSV处理嵌套循环
优惠活动
大模型
产品
解决方案
定价
更多

Python 如何在函数中实现支持断点续读的多CSV处理嵌套循环

断点续读逻辑实现方案

该需求完全可落地,核心改造不需要推翻现有循环流程,仅需增加本地进度持久化和读取位置校准两个模块即可,适配后续扩展到几十份CSV文件的场景。

核心改造思路

1. 解决进程重启后的进度丢失问题

Python脚本作为独立进程每次定时运行时,内存里的状态会完全清空,因此需要把每个CSV文件的已处理行号,以结构化格式存在本地状态文件中(推荐用json格式,读写简单无依赖)。
状态文件结构非常直观:

{
  "file1.csv": 3,
  "file2.csv": 6,
  "file3.csv": 0,
  "file4.csv": 9
}

每次脚本启动时先读取这个文件,拿到每个CSV的上次读取位置;处理完每一批数据后立刻把最新位置写回,哪怕脚本中途崩溃,已经成功处理的进度也不会丢失。

2. 适配单文件的批次读取逻辑

原有固定读0-3行的逻辑,替换为每个文件的读取范围为:

  • 起始行:本地状态文件里记录的已处理位置
  • 结束行:起始行 + 单次处理批次的行数(原逻辑单次处理3行,可抽成全局常量方便调整)
    边界规则:
  • 若读取时遇到文件末尾,直接记录当前已到的位置,下次定时运行时再检查文件是否有新增内容
  • 若文件被覆盖、总长度比已记录的进度还短,说明文件内容被重置,需要把对应文件的进度重置为0再开始读取

3. 嵌套循环的函数化拆分

不需要把所有逻辑堆在主流程里,按功能拆成独立函数即可:

  • 读/写状态文件的工具函数
  • 单文件从指定行开始读取、执行业务逻辑的处理函数
  • 遍历所有文件配置的主流程函数
    变量按函数入参、返回值传递,不会出现嵌套循环跑不通的问题。

可直接复用的改造代码

代码完全兼容你现有xyz.func1的调用逻辑,仅补充了进度记录能力:

import json
import time
from abc.zzz import xyz

# 全局配置:每个文件单次运行处理的行数,和原逻辑保持一致
BATCH_SIZE = 3
# 本地进度存储文件
STATE_FILE = "csv_run_progress.json"

def load_progress():
    """读取本地存储的各文件处理进度"""
    try:
        with open(STATE_FILE, "r") as f:
            return json.load(f)
    except FileNotFoundError:
        # 首次运行无状态文件,返回空字典
        return {}

def save_progress(progress_map):
    """把最新进度写回本地文件"""
    with open(STATE_FILE, "w") as f:
        json.dump(progress_map, f, indent=2)

def process_single_csv(file_config, start_line, s_id):
    """处理单个CSV文件的指定行区间"""
    file_path = file_config["path"]
    biz_id = file_config["id"]
    processed_count = 0

    with open(file_path, "r") as f:
        # 跳过所有已处理过的行,定位到上次中断的位置
        for _ in range(start_line):
            if not f.readline():
                # 已经读到文件末尾,直接返回当前进度
                return start_line, s_id
        # 从断点位置开始读指定批次的行数
        for _ in range(BATCH_SIZE):
            line = f.readline()
            if not line:
                break
            # 调用原有业务逻辑,无修改
            xyz.func1(
                id_1=line.rstrip(),
                B_id=biz_id,
                s_id=s_id
            )
            processed_count +=1
            time.sleep(25)
    # 返回本次处理完成后的最新行位置
    return start_line + processed_count, s_id

def main():
    # 原有文件配置,已补上原代码漏写的字典间逗号
    path_id_map = [
        {'path':'file1.csv', 'id': '12345678'},
        {'path':'file2.csv', 'id': '44556677'},
        {'path':'file3.csv', 'id': '33377799'},
        {'path':'file4.csv', 'id': '66221144'}
    ]
    # 加载上次的处理进度
    progress = load_progress()
    s_id = None

    for file_cfg in path_id_map:
        f_path = file_cfg["path"]
        # 取当前文件的上次读取位置,无记录则默认从0开始
        current_pos = progress.get(f_path, 0)
        # 处理当前文件
        new_pos, s_id = process_single_csv(file_cfg, current_pos, s_id)
        # 更新进度
        progress[f_path] = new_pos
        # 每处理完一个文件就回写一次进度,避免中断丢数据
        save_progress(progress)

if __name__ == "__main__":
    main()

落地注意事项

  • 状态文件写入建议增加临时文件替换的逻辑,防止脚本断电、异常退出时把状态文件写坏,导致进度丢失
  • 如果你的CSV文件存在定期覆盖重写的场景,可在读取前增加文件修改时间、文件总长度的校验,匹配文件重置的场景
  • 该结构完全支持扩展到几十上百个文件,状态文件会自动适配新增的文件配置项,不需要额外改造主流程

内容的提问来源于stack exchange,提问作者Dave99

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 17:06:01