如何保存for循环计数状态，实现跨日遍历大DataFrame时从中断处续跑

核心逻辑是通过纯文本文件存储已处理的行偏移量，首次运行无记录时自动从0开始执行，不需要依赖序列化工具。

实现步骤 #

• 步骤1：初始化起始偏移量
  脚本启动时尝试读取偏移量记录文件（可命名为last_processed_idx.txt），若文件不存在、内容为空或格式非法，默认将起始偏移量设为0。
• 步骤2：调整遍历逻辑
  从起始偏移量对应的行开始遍历DataFrame，无需从头遍历。可根据数据量选择每处理1行或每固定批次（如100/1000行）就将当前最新的完成行号覆盖写入偏移量文件，平衡IO开销和断点精度。
• 步骤3：异常中断兜底
  给遍历逻辑加异常捕获逻辑，触发脚本中断、报错时立刻写入当前处理完成的最新行号，保证断点位置准确。

示例代码 #

import pandas as pd
import os

OFFSET_FILE = "last_processed_idx.txt"

# 1. 读取起始偏移量
start_idx = 0
if os.path.exists(OFFSET_FILE):
    try:
        with open(OFFSET_FILE, "r") as f:
            start_idx = int(f.read().strip())
    except (ValueError, IOError):
        # 文件内容异常时默认从头开始
        start_idx = 0

# 2. 加载待处理DataFrame（确保每次加载的DF行顺序完全一致，否则偏移量会错位）
df = pd.read_csv("your_large_file.csv")

# 3. 从断点位置开始遍历
try:
    for idx in range(start_idx, len(df)):
        current_row = df.iloc[idx]
        # 此处写入你的行处理逻辑
        # process_row(current_row)

        # 处理完成后更新偏移量，可修改为每N行更新一次减少IO频率
        with open(OFFSET_FILE, "w") as f:
            f.write(str(idx))
except KeyboardInterrupt:
    print(f"脚本手动中断，当前已处理到第{start_idx}行，下次启动将自动续跑")
except Exception as e:
    print(f"脚本运行报错，当前已处理到第{start_idx}行，错误信息：{str(e)}")

方案优势 #

• 实现逻辑简单，没有序列化框架依赖，也不存在Pickle的版本兼容、对象序列化失败问题
• 偏移量文件为纯文本，可手动查看、修改偏移量，灵活调整遍历起始位置
• 天然适配首次运行场景，无需提前创建记录文件

内容的提问来源于stack exchange，提问作者ValueError