Python pickle追加列表元素时原有内容丢失修复及csv替代实现
列表序列化存储丢历史数据的修复方案
原pickle实现丢数据的核心诱因
- 首次运行时
blocklist2.pkl文件不存在,直接执行pickle.load会抛出文件不存在异常,如果之前为了规避异常加了异常捕获分支,触发异常时直接将空列表作为初始值写入文件,后续多次运行时只要读取阶段触发异常,就会用空列表覆盖原文件的历史内容,最终只保存单次新增的元素 - 以
wb模式打开文件时,系统会第一时间清空原文件内容,一旦代码顺序写错(比如先打开写文件、再去读历史内容),就会导致读到的历史内容为空 - 序列化写入时如果出现磁盘报错、进程被中断,会导致原文件被截断,后续读取时只能拿到不完整的序列化内容,出现元素丢失的问题
pickle实现的正确写法
import pickle import os filename = 'blocklist2.pkl' # 先判断文件是否存在且非空,避免读取不存在的文件报错 if os.path.exists(filename) and os.path.getsize(filename) > 0: with open(filename, 'rb') as rfp: data = pickle.load(rfp) else: data = [] data.append(stock_name) # 先写临时文件再原子替换原文件,避免写入失败损坏原有历史数据 temp_file = f"{filename}.tmp" with open(temp_file, 'wb') as wfp: pickle.dump(data, wfp) os.replace(temp_file, filename)
改用csv实现时的常见踩坑点
- 以
a+模式打开文件写入后,如果直接复用同一个文件对象做读取操作,文件指针停在文件末尾,会读不到任何历史内容;当前代码写完后重新打开文件做读取,逻辑本身没有问题,但后续复用文件对象时很容易触发这个问题 - 如果输入的股票名称包含逗号、换行符,直接按行写入csv会导致行错位,后续读取时拿到的字段不完整,表现为历史内容丢失
- 并发请求同时写入同一个csv文件时,会出现内容穿插、行截断的问题,导致部分历史写入的内容损坏
csv实现的优化版本
import os import csv from flask import Flask, request, render_template app = Flask(__name__) @app.route('/', methods=["GET", "POST"]) def home(): # 统一读取历史数据,减少重复的文件读取逻辑 lis_to_render = [] if os.path.exists('blocklist.csv'): with open('blocklist.csv', 'r', newline='', encoding='utf-8') as csv_file: csv_reader = csv.reader(csv_file) for line in csv_reader: if line: # 跳过空行,避免读取报错 lis_to_render.append(line[0]) if request.method == "POST": stockname = request.form.get("stockname", "").strip() # 跳过空输入,避免写入无意义的空行 if not stockname: return render_template('index.html', lis=lis_to_render) # 追加新的股票名称到文件 with open('blocklist.csv', 'a', newline='', encoding='utf-8') as file: csv.writer(file).writerow([stockname]) # 直接更新渲染列表,不需要重新读一遍文件 lis_to_render.append(stockname) return render_template('index.html', lis=lis_to_render) return render_template('index.html', lis=lis_to_render)
补充提示:pickle的序列化逻辑是全量覆盖写入,不存在“追加单个元素到已序列化文件”的能力,所有内容都要先读出来、拼好新元素之后再全量写回,这也是很多人用pickle存列表时踩丢数据坑的核心原因。如果需要频繁追加单条内容,csv的原生追加模式会比pickle的全量读写稳定很多。
内容的提问来源于stack exchange,提问作者user4599
相关产品推荐
相关产品推荐

