You need to enable JavaScript to run this app. Python中如何用Pythonic方案存储待发GPS临时数据(防断电、SD卡适配)
优惠活动
大模型
产品
解决方案
定价
更多

Python中如何用Pythonic方案存储待发GPS临时数据(防断电、SD卡适配)

适用于GPS断网缓存的Pythonic持久化方案

核心目标

解决当前内存缓存在断电时全部丢失的问题,在SD卡上实现低开销、高容错的列表数据持久化,兼容现有“发送失败缓存、网络恢复批量重发”的业务逻辑。

方案选型原则

  • 降低SD卡擦写次数,延长存储介质寿命
  • 写入过程中断电不丢失已完成写入的有效数据
  • 无额外第三方依赖,适配嵌入式Python运行环境
  • 逻辑和原有的内存列表操作保持同构,降低改造工作量

推荐实现:JSON Lines(JSONL)追加式缓存

为什么不选整文件序列化方案

如果把整个缓存列表通过json.dump()、pickle.dump()存在单个文件里,每次新增缓存都需要全量读取、解析、重写整个文件:

  1. 缓存数据量增长后,IO耗时会线性上升
  2. 全量写入过程中断电会直接损坏整个文件,导致所有历史缓存丢失
  3. 反复对同一文件执行全量擦写,会加快SD卡的硬件老化

JSONL缓存的核心优势

  • 结构上每行存储一个独立的JSON字典,对应原列表里的单条GPS数据
  • 新增缓存时直接往文件末尾追加内容,不需要改动历史数据
  • 逐行的结构天然带容错能力:哪怕写入最后一行时断电只写了半行,也只会丢失这半条损坏数据,前面完整写入的条目可以正常读取

具体代码实现

首先是单条缓存落盘函数:

import json
import os

# SD卡上的缓存文件路径,根据实际挂载路径调整
CACHE_FILE = "/mnt/sdcard/gps_upload_cache.jsonl"

def cache_position(position: dict):
    # 追加模式打开文件,单条数据写入完成后立刻强制刷到磁盘
    with open(CACHE_FILE, "a", encoding="utf-8") as f:
        f.write(json.dumps(position, ensure_ascii=False) + "\n")
        f.flush()
        # 调用系统fsync确保数据真正写入存储介质,不是停留在系统内存缓存
        os.fsync(f.fileno())

然后是网络恢复后的缓存重发逻辑:

def resend_cache():
    # 不存在缓存文件直接退出
    if not os.path.exists(CACHE_FILE):
        return
    valid_entries = []
    # 逐行读取文件,跳过写入中断导致的损坏行
    with open(CACHE_FILE, "r", encoding="utf-8") as f:
        for line in f:
            line = line.strip()
            if not line:
                continue
            try:
                valid_entries.append(json.loads(line))
            except json.JSONDecodeError:
                continue
    # 按缓存顺序逐条尝试发送
    remaining_entries = []
    for entry in valid_entries:
        if not transmission(entry):
            remaining_entries.append(entry)
    # 把没发送成功的条目重新写回缓存文件
    with open(CACHE_FILE, "w", encoding="utf-8") as f:
        for entry in remaining_entries:
            f.write(json.dumps(entry, ensure_ascii=False) + "\n")
            f.flush()
            os.fsync(f.fileno())

最后替换原来的内存缓存主流程:

# 单条GPS位置数据
position = {'lat':'1.2345', 'lon':'2.3455', 'timestamp':'2020-10-18T15:08:04'}
if transmission(position):
    # 当前数据发送成功,尝试把所有历史缓存发出去
    resend_cache()
else:
    # 发送失败,直接持久化到SD卡
    cache_position(position)

落地注意事项

  • 不要用pickle格式存缓存:pickle的跨版本兼容性差,文件结构损坏后几乎无法恢复,远不如纯文本JSON鲁棒
  • f.flush()和os.fsync()两个步骤不能省略:只调用Python层的write方法时,数据会先存在操作系统的内存缓存里,断电时依然会丢失
  • 长断网场景下可以按天拆分缓存文件:避免单个缓存文件体积过大导致读写耗时上升

内容的提问来源于stack exchange,提问作者crazyduck

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.21 11:57:05