pandas to_json(orient='split')写入JSON偶发冗余内容如何解决

这不是pandas to_json 序列化逻辑的已知功能缺陷，你遇到的是文件写入环节的典型问题，触发原因有两类：

• 最常见的情况是旧版本pandas（1.2.x及更早版本）在Windows平台下直接传入文件路径调用to_json时，内部打开文件的逻辑没有显式执行文件截断操作：如果本次生成的JSON内容长度小于目标路径下已存在的旧文件长度，旧文件尾部多出的内容不会被清空，会直接拼接在新写入的合法JSON后面，正好对应你看到的异常格式——前面是完整的正确JSON，后面跟着旧文件残留的片段，末尾出现两个}。
• 如果你是在多进程、定时调度场景下反复写入同一个固定文件名的JSON，多个写入进程同时操作同一个文件时，也会出现内容交错、拼接错误的问题。

按可靠性优先级排序：

• 手动接管文件写入流程（100%规避问题，推荐首选）
  不要直接把文件路径传给to_json，先在内存中完成JSON序列化，再手动以标准写模式打开文件写入，代码如下：

  import pandas as pd 
  data = {
    "calories": [420, 380, 390],
    "duration": [50, 40, 45]
  }
  
  df = pd.DataFrame(data)
  # 内存中完成序列化，不直接写盘
  json_content = df.to_json(orient='split')
  # w模式打开文件时会强制清空文件所有旧内容，再写入新内容
  with open("filename.json", "w", encoding="utf-8") as f:
      f.write(json_content)
  

  这个写法完全绕开pandas内部的文件操作逻辑，不受pandas版本、操作系统环境影响，不会出现旧内容残留的问题。
• 升级pandas版本到1.3.0及以上
  官方在1.3.0版本已经修复了直接传路径写文件时未正确截断文件的问题，升级后直接调用df.to_json("filename.json", orient='split')不会再出现旧内容残留。
• 并发场景规避文件冲突
  如果你的任务是多进程/多实例运行，不要让多个任务同时写同一个固定路径的文件，可以给输出文件名加任务ID、时间戳做唯一标识，或者在写入前加文件锁，避免内容交错。
• 兜底校验
  你可以在写入完成后读取文件末尾3个字符做校验，如果发现存在多余的}就触发重写，作为极端场景下的兜底逻辑。

内容的提问来源于stack exchange，提问作者Cauder