如何提升TinyDB的JSON存储上限？解决写入中断引发的JSONDecodeError问题

看起来你遇到的是典型的JSON文件写入中断损坏问题——TinyDB默认的JSON存储是直接覆盖原文件，如果写入过程中程序崩溃、进程被终止或者出现IO异常，就会留下一个不完整的JSON文件，导致后续解析失败，也就是你看到的JSONDecodeError。

一、先修复已损坏的JSON文件 #

1. 手动修复（快速但需要一点JSON基础） #

根据报错信息，问题出在第1行第234357列附近：

json.decoder.JSONDecodeError: Expecting value: line 1 column 234357 (char 234356)

你可以用文本编辑器（比如VS Code、Notepad++）打开你的TinyDB JSON文件，定位到这个位置：

• 检查该位置前后的内容，通常是最后一条写入的条目没有写完，或者多了/少了引号、逗号、括号
• 删除不完整的条目，确保整个JSON结构是合法的：所有对象/数组都正确闭合，键值对引号配对，最后一个条目后面没有多余的逗号

比如如果文件末尾是：

{"1": {"token": "abc123"}, "2": {"token": "def456"

你需要把它修正为：

{"1": {"token": "abc123"}, "2": {"token": "def456"}}

2. 自动修复脚本（适合大文件） #

如果文件太大手动定位麻烦，可以用这段Python脚本尝试自动截断到最近的合法JSON位置：

import json
from json.decoder import JSONDecodeError

def repair_tinydb_json(db_file_path):
    # 读取损坏的文件内容
    with open(db_file_path, 'r', encoding='utf-8') as f:
        raw_content = f.read()
    
    # 从后往前逐步截断，直到找到能解析的合法内容
    for truncate_pos in range(len(raw_content), 0, -1):
        try:
            valid_json = json.loads(raw_content[:truncate_pos])
            # 保存修复后的文件（避免覆盖原文件）
            repaired_path = f"{db_file_path}_repaired.json"
            with open(repaired_path, 'w', encoding='utf-8') as f:
                json.dump(valid_json, f, indent=2)
            print(f"修复完成！已保存到: {repaired_path}")
            return valid_json
        except JSONDecodeError:
            continue
    
    print("无法修复该JSON文件，可能损坏过于严重")
    return None

# 替换成你的TinyDB文件路径
repair_tinydb_json("your_database.json")

二、预防未来出现同样问题 #

要从根源解决，核心是确保写入操作的原子性——要么完整写入，要么原文件不受影响。

1. 使用原子写入的存储类 #

TinyDB默认的JSONStorage没有原子写入机制，我们可以自定义一个原子存储类，先写入临时文件，确认写入完成后再替换原文件：

import os
import tempfile
import json
from tinydb.storages import JSONStorage

class AtomicJSONStorage(JSONStorage):
    def write(self, data):
        # 创建临时文件（和原文件同目录，避免跨磁盘移动问题）
        temp_dir = os.path.dirname(self._path) or os.getcwd()
        with tempfile.NamedTemporaryFile('w', delete=False, dir=temp_dir, encoding='utf-8') as tmp_file:
            json.dump(data, tmp_file, indent=self._indent)
            # 强制刷新到磁盘，避免缓存导致的写入不完整
            tmp_file.flush()
            os.fsync(tmp_file.fileno())
        
        # 原子替换原文件（这个操作在大多数系统上是原子的）
        os.replace(tmp_file.name, self._path)

# 初始化TinyDB时使用这个存储类
from tinydb import TinyDB
db = TinyDB("your_database.json", storage=AtomicJSONStorage)

2. 多线程环境下加锁 #

如果你的程序是多线程写入TinyDB，一定要加线程锁，避免多个线程同时写入导致文件冲突：

import threading
from tinydb import TinyDB

# 初始化数据库和锁
db = TinyDB("your_database.json", storage=AtomicJSONStorage)
db_write_lock = threading.Lock()

# 写入数据时加锁
def safe_insert(data):
    with db_write_lock:
        db.insert(data)

# 多线程中调用safe_insert即可

这样即使写入过程中出现中断，原文件也不会被损坏，临时文件会被系统自动清理（或者你可以额外加清理逻辑）。

内容的提问来源于stack exchange，提问作者fourk