You need to enable JavaScript to run this app. Python中pickle多次dump后读取文件仅能获取首个数据点的问题
优惠活动
大模型
产品
解决方案
定价
更多

Python中pickle多次dump后读取文件仅能获取首个数据点的问题

核心问题定位

你看到的“只能读取到第一个数据点”的现象,是两个写法bug叠加导致的:

  • 对pickle的读写规则理解有偏差
    你在写入阶段的逻辑是:循环每匹配到一条符合过滤条件的交易记录,就单独调用一次pickle.dump()把当前的单个二元元组写入文件。这意味着最终生成的pickle文件里,是一串依次独立存储的序列化对象,不是一个整体的列表结构。
    而pickle.load()的特性是,单次调用只会读取文件里排在最前面的那一个完整序列化对象,读完就会停止,不会自动解析文件里后续写入的所有内容。你只调用了一次load,拿到的就是最开始写入的第一个二元元组,接着对这个元组做循环遍历,自然只会打出元组里的两个元素,完全看不到后面已经写入的成百上千条数据。
  • SQLite游标的遍历逻辑完全写反了
    你先执行SQL查询拿到游标对象存在table变量里,然后写for i in table:逐行迭代游标——本身直接迭代游标就会按顺序逐行返回查询结果,你在循环内部又额外调用cur.fetchone(),相当于每读取一行结果,就让游标指针多往后跳一行,实际拿到的数据顺序和你预期的完全不一致,甚至会提前读到空值。
可直接运行的修正代码

写入阶段优化

推荐先把符合条件的数据全部收集成列表,循环结束后一次性写入pickle,避免零散写入带来的读取麻烦:

import sqlite3
import pickle

connection = sqlite3.connect("D:\\Programming\\TradingInvestment\\Datasets\\Binance_Trades_Data.db")
cur = connection.cursor()

asset_list = ["BTC", "ETH", "AAVE", "YFI", "COMP"]

for asset in asset_list:
    query = f"SELECT * FROM {asset}USDT_TXS ORDER BY time"
    all_rows = cur.execute(query).fetchall()
    valid_datapoints = []
    for row in all_rows:
        # 直接从列值转时间戳,不靠字符串截取减少出错概率
        ts_ms = int(row[4])
        ts_s = ts_ms // 1000
        if ts_s > 1608812669:
            valid_datapoints.append( (ts_s, row[1]) )
    # 把整个数据列表一次性写入pickle
    with open(f"{asset}.pickle", "wb") as f:
        pickle.dump(valid_datapoints, f)

connection.close()

读取阶段优化

因为写入时是把完整列表一次性dump的,单次load就能拿到全部数据:

import pickle

with open("BTC.pickle", "rb") as f:
    btc_all_data = pickle.load(f)

for datapoint in btc_all_data:
    print(datapoint)

如果你不想重新跑写入流程,之前已经生成的零散dump的pickle文件,也可以用循环读取的方式把所有历史数据捞出来,不需要删文件重写:

import pickle

collected = []
with open("BTC.pickle", "rb") as f:
    while True:
        try:
            single_dp = pickle.load(f)
            collected.append(single_dp)
        except EOFError:
            break

for dp in collected:
    print(dp)

内容的提问来源于stack exchange,提问作者Emmanuel Young

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 11:15:01