You need to enable JavaScript to run this app. Python pickle追加列表元素时原有内容丢失修复及csv替代实现
优惠活动
大模型
产品
解决方案
定价
更多

Python pickle追加列表元素时原有内容丢失修复及csv替代实现

列表序列化存储丢历史数据的修复方案

原pickle实现丢数据的核心诱因

  • 首次运行时blocklist2.pkl文件不存在,直接执行pickle.load会抛出文件不存在异常,如果之前为了规避异常加了异常捕获分支,触发异常时直接将空列表作为初始值写入文件,后续多次运行时只要读取阶段触发异常,就会用空列表覆盖原文件的历史内容,最终只保存单次新增的元素
  • 以wb模式打开文件时,系统会第一时间清空原文件内容,一旦代码顺序写错(比如先打开写文件、再去读历史内容),就会导致读到的历史内容为空
  • 序列化写入时如果出现磁盘报错、进程被中断,会导致原文件被截断,后续读取时只能拿到不完整的序列化内容,出现元素丢失的问题

pickle实现的正确写法

import pickle
import os

filename = 'blocklist2.pkl'
# 先判断文件是否存在且非空,避免读取不存在的文件报错
if os.path.exists(filename) and os.path.getsize(filename) > 0:
    with open(filename, 'rb') as rfp:
        data = pickle.load(rfp)
else:
    data = []

data.append(stock_name)

# 先写临时文件再原子替换原文件,避免写入失败损坏原有历史数据
temp_file = f"{filename}.tmp"
with open(temp_file, 'wb') as wfp:
    pickle.dump(data, wfp)
os.replace(temp_file, filename)

改用csv实现时的常见踩坑点

  • 以a+模式打开文件写入后,如果直接复用同一个文件对象做读取操作,文件指针停在文件末尾,会读不到任何历史内容;当前代码写完后重新打开文件做读取,逻辑本身没有问题,但后续复用文件对象时很容易触发这个问题
  • 如果输入的股票名称包含逗号、换行符,直接按行写入csv会导致行错位,后续读取时拿到的字段不完整,表现为历史内容丢失
  • 并发请求同时写入同一个csv文件时,会出现内容穿插、行截断的问题,导致部分历史写入的内容损坏

csv实现的优化版本

import os
import csv
from flask import Flask, request, render_template

app = Flask(__name__)

@app.route('/', methods=["GET", "POST"])
def home():
    # 统一读取历史数据,减少重复的文件读取逻辑
    lis_to_render = []
    if os.path.exists('blocklist.csv'):
        with open('blocklist.csv', 'r', newline='', encoding='utf-8') as csv_file: 
            csv_reader = csv.reader(csv_file)
            for line in csv_reader:
                if line:  # 跳过空行,避免读取报错
                    lis_to_render.append(line[0])

    if request.method == "POST":
        stockname = request.form.get("stockname", "").strip()
        # 跳过空输入,避免写入无意义的空行
        if not stockname:
            return render_template('index.html', lis=lis_to_render)
        
        # 追加新的股票名称到文件
        with open('blocklist.csv', 'a', newline='', encoding='utf-8') as file:
            csv.writer(file).writerow([stockname])
        
        # 直接更新渲染列表,不需要重新读一遍文件
        lis_to_render.append(stockname)
        return render_template('index.html', lis=lis_to_render)       

    return render_template('index.html', lis=lis_to_render)

补充提示:pickle的序列化逻辑是全量覆盖写入,不存在“追加单个元素到已序列化文件”的能力,所有内容都要先读出来、拼好新元素之后再全量写回,这也是很多人用pickle存列表时踩丢数据坑的核心原因。如果需要频繁追加单条内容,csv的原生追加模式会比pickle的全量读写稳定很多。

内容的提问来源于stack exchange,提问作者user4599

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 17:06:08