如何让Python脚本保存数据？Kafka生产者轻量存储方案咨询

首先，你不需要用复杂的数据库来保存单个待更新对象，以下几种轻量级方案更适合你的场景：

1. 本地JSON文件（首选） #

这是最简单可靠的方式，适合存储单个结构化对象，操作成本极低。

实现步骤： #

• 新增两个辅助函数，用于读取和保存对象状态
• 修改generate_data函数，每次运行先加载之前的状态，更新后再保存

示例代码修改：

import json
import os

# 定义你的初始 Rover 状态（根据实际业务调整字段）
INITIAL_ROVER_STATE = {"sample_count": 0, "last_update_time": "", "rover_status": "idle"}

def load_rover_state():
    # 读取本地状态文件，不存在则返回初始状态
    state_file = "rover_state.json"
    if os.path.exists(state_file):
        with open(state_file, "r") as f:
            return json.load(f)
    return INITIAL_ROVER_STATE

def save_rover_state(state):
    # 将更新后的状态写入文件
    with open("rover_state.json", "w") as f:
        json.dump(state, f, indent=2)

def generate_data():
    # 加载之前保存的状态
    rover_state = load_rover_state()
    # 基于当前状态更新数据（需调整update_rover_samples函数，传入状态参数）
    update_rover_samples(rover_state)
    # 保存更新后的状态
    save_rover_state(rover_state)
    # 生产数据到Kafka
    for rover_data in rovers:
        print("thread finished...exiting")
        produce_data(rover_data)

优点： #

• 无需额外依赖，Python原生支持
• 状态持久化稳定，重启脚本/机器不会丢失
• 直观易读，直接查看JSON文件就能了解当前状态

2. 环境变量（仅临时场景使用） #

环境变量适合存储小型字符串数据，但有明显局限性：

• 临时环境变量在终端关闭后会丢失，持久化到系统环境变量需要手动配置（不同系统操作逻辑不同）
• 序列化后的对象如果过长，可能超出环境变量的长度限制

实现示例： #

import os
import json

def load_rover_state_from_env():
    state_str = os.environ.get("ROVER_STATE")
    if state_str:
        return json.loads(state_str)
    return INITIAL_ROVER_STATE

def save_rover_state_to_env(state):
    state_str = json.dumps(state)
    os.environ["ROVER_STATE"] = state_str
    # 注意：仅当前终端会话有效，若要持久化需写入系统配置文件（如Linux的~/.bashrc）

缺点： #

• 持久化操作繁琐，不适合长期使用
• 不适合存储较大的对象结构

3. 轻量级键值存储（如Redis，可选） #

如果未来需要跨进程/机器共享状态，或者状态更新频率很高，可以考虑用Redis：

• 内存存储，读写速度快
• 支持持久化到磁盘
• 适合存储键值对类型的数据

但对于你当前仅需保存单个对象的场景，Redis有点“杀鸡用牛刀”，除非你已经有现成的Redis服务可用。

总结 #

优先选择本地JSON文件，完全满足你的需求且实现简单；环境变量仅适合临时测试场景；Redis适合未来业务扩展后的需求。

内容的提问来源于stack exchange，提问作者JoePoh