Python中如何用Pythonic方案存储待发GPS临时数据(防断电、SD卡适配)
适用于GPS断网缓存的Pythonic持久化方案
核心目标
解决当前内存缓存在断电时全部丢失的问题,在SD卡上实现低开销、高容错的列表数据持久化,兼容现有“发送失败缓存、网络恢复批量重发”的业务逻辑。
方案选型原则
- 降低SD卡擦写次数,延长存储介质寿命
- 写入过程中断电不丢失已完成写入的有效数据
- 无额外第三方依赖,适配嵌入式Python运行环境
- 逻辑和原有的内存列表操作保持同构,降低改造工作量
推荐实现:JSON Lines(JSONL)追加式缓存
为什么不选整文件序列化方案
如果把整个缓存列表通过json.dump()、pickle.dump()存在单个文件里,每次新增缓存都需要全量读取、解析、重写整个文件:
- 缓存数据量增长后,IO耗时会线性上升
- 全量写入过程中断电会直接损坏整个文件,导致所有历史缓存丢失
- 反复对同一文件执行全量擦写,会加快SD卡的硬件老化
JSONL缓存的核心优势
- 结构上每行存储一个独立的JSON字典,对应原列表里的单条GPS数据
- 新增缓存时直接往文件末尾追加内容,不需要改动历史数据
- 逐行的结构天然带容错能力:哪怕写入最后一行时断电只写了半行,也只会丢失这半条损坏数据,前面完整写入的条目可以正常读取
具体代码实现
首先是单条缓存落盘函数:
import json import os # SD卡上的缓存文件路径,根据实际挂载路径调整 CACHE_FILE = "/mnt/sdcard/gps_upload_cache.jsonl" def cache_position(position: dict): # 追加模式打开文件,单条数据写入完成后立刻强制刷到磁盘 with open(CACHE_FILE, "a", encoding="utf-8") as f: f.write(json.dumps(position, ensure_ascii=False) + "\n") f.flush() # 调用系统fsync确保数据真正写入存储介质,不是停留在系统内存缓存 os.fsync(f.fileno())
然后是网络恢复后的缓存重发逻辑:
def resend_cache(): # 不存在缓存文件直接退出 if not os.path.exists(CACHE_FILE): return valid_entries = [] # 逐行读取文件,跳过写入中断导致的损坏行 with open(CACHE_FILE, "r", encoding="utf-8") as f: for line in f: line = line.strip() if not line: continue try: valid_entries.append(json.loads(line)) except json.JSONDecodeError: continue # 按缓存顺序逐条尝试发送 remaining_entries = [] for entry in valid_entries: if not transmission(entry): remaining_entries.append(entry) # 把没发送成功的条目重新写回缓存文件 with open(CACHE_FILE, "w", encoding="utf-8") as f: for entry in remaining_entries: f.write(json.dumps(entry, ensure_ascii=False) + "\n") f.flush() os.fsync(f.fileno())
最后替换原来的内存缓存主流程:
# 单条GPS位置数据 position = {'lat':'1.2345', 'lon':'2.3455', 'timestamp':'2020-10-18T15:08:04'} if transmission(position): # 当前数据发送成功,尝试把所有历史缓存发出去 resend_cache() else: # 发送失败,直接持久化到SD卡 cache_position(position)
落地注意事项
- 不要用
pickle格式存缓存:pickle的跨版本兼容性差,文件结构损坏后几乎无法恢复,远不如纯文本JSON鲁棒 f.flush()和os.fsync()两个步骤不能省略:只调用Python层的write方法时,数据会先存在操作系统的内存缓存里,断电时依然会丢失- 长断网场景下可以按天拆分缓存文件:避免单个缓存文件体积过大导致读写耗时上升
内容的提问来源于stack exchange,提问作者crazyduck
相关产品推荐
相关产品推荐

