Python中pickle多次dump后读取文件仅能获取首个数据点的问题
核心问题定位
你看到的“只能读取到第一个数据点”的现象,是两个写法bug叠加导致的:
- 对pickle的读写规则理解有偏差
你在写入阶段的逻辑是:循环每匹配到一条符合过滤条件的交易记录,就单独调用一次pickle.dump()把当前的单个二元元组写入文件。这意味着最终生成的pickle文件里,是一串依次独立存储的序列化对象,不是一个整体的列表结构。
而pickle.load()的特性是,单次调用只会读取文件里排在最前面的那一个完整序列化对象,读完就会停止,不会自动解析文件里后续写入的所有内容。你只调用了一次load,拿到的就是最开始写入的第一个二元元组,接着对这个元组做循环遍历,自然只会打出元组里的两个元素,完全看不到后面已经写入的成百上千条数据。 - SQLite游标的遍历逻辑完全写反了
你先执行SQL查询拿到游标对象存在table变量里,然后写for i in table:逐行迭代游标——本身直接迭代游标就会按顺序逐行返回查询结果,你在循环内部又额外调用cur.fetchone(),相当于每读取一行结果,就让游标指针多往后跳一行,实际拿到的数据顺序和你预期的完全不一致,甚至会提前读到空值。
可直接运行的修正代码
写入阶段优化
推荐先把符合条件的数据全部收集成列表,循环结束后一次性写入pickle,避免零散写入带来的读取麻烦:
import sqlite3 import pickle connection = sqlite3.connect("D:\\Programming\\TradingInvestment\\Datasets\\Binance_Trades_Data.db") cur = connection.cursor() asset_list = ["BTC", "ETH", "AAVE", "YFI", "COMP"] for asset in asset_list: query = f"SELECT * FROM {asset}USDT_TXS ORDER BY time" all_rows = cur.execute(query).fetchall() valid_datapoints = [] for row in all_rows: # 直接从列值转时间戳,不靠字符串截取减少出错概率 ts_ms = int(row[4]) ts_s = ts_ms // 1000 if ts_s > 1608812669: valid_datapoints.append( (ts_s, row[1]) ) # 把整个数据列表一次性写入pickle with open(f"{asset}.pickle", "wb") as f: pickle.dump(valid_datapoints, f) connection.close()
读取阶段优化
因为写入时是把完整列表一次性dump的,单次load就能拿到全部数据:
import pickle with open("BTC.pickle", "rb") as f: btc_all_data = pickle.load(f) for datapoint in btc_all_data: print(datapoint)
如果你不想重新跑写入流程,之前已经生成的零散dump的pickle文件,也可以用循环读取的方式把所有历史数据捞出来,不需要删文件重写:
import pickle collected = [] with open("BTC.pickle", "rb") as f: while True: try: single_dp = pickle.load(f) collected.append(single_dp) except EOFError: break for dp in collected: print(dp)
内容的提问来源于stack exchange,提问作者Emmanuel Young
相关产品推荐
相关产品推荐

