You need to enable JavaScript to run this app. Python如何生成无外层列表、无逗号分隔逐行存储独立字典的JSON文件
优惠活动
大模型
产品
解决方案
定价
更多

Python如何生成无外层列表、无逗号分隔逐行存储独立字典的JSON文件

目标格式本质说明

你期望生成的逐行独立JSON存储格式,是业界通用的*JSON Lines(简称JSONL)*标准格式。和传统单结构JSON数组的核心差异为:文件内每一行都是独立、合法的JSON序列化结果,不存在外层数组包裹,也没有行间逗号分隔,非常适配大样本数据的流式读写场景。

原有实现偏差的原因

你之前生成带外层方括号、字典间加逗号的结果,是因为将所有待存储字典放入Python列表后,直接调用json.dump()将整个列表作为单个JSON对象写入——这是对JSON数组结构的标准序列化逻辑,自然会生成包裹式的数组结构,和逐行独立JSON的写入逻辑不匹配。

正确实现步骤
  • 不需要将所有字典做整体的JSON序列化,改为逐行遍历待存储的字典条目
  • 对单个字典单独执行JSON序列化,序列化完成后在内容末尾追加换行符,逐行写入目标文件
  • 序列化时可通过ensure_ascii=False参数保留非英文字符的可读性,避免转码带来的内容不可读问题
可直接运行的示例代码
import json

# 待存储的字典数据集合
dataset = [
    {"text": "Terrible customer service.", "labels": ["negative"], "meta": {"wikiPageID": 1}},
    {"text": "Really great transaction.", "labels": ["positive"], "meta": {"wikiPageID": 2}},
    {"text": "Great price.", "labels": ["positive"], "meta": {"wikiPageID": 3}}
]

# 逐行写入目标文件
with open("output.jsonl", "w", encoding="utf-8") as f:
    for sample in dataset:
        # 单个字典序列化为一行JSON字符串
        json_line = json.dumps(sample, ensure_ascii=False)
        # 写入字符串并追加换行,保证每行对应一个独立JSON对象
        f.write(f"{json_line}\n")

执行上述代码后生成的文件内容,和你预期的格式完全一致:

{"text": "Terrible customer service.", "labels": ["negative"], "meta": {"wikiPageID": 1}}
{"text": "Really great transaction.", "labels": ["positive"], "meta": {"wikiPageID": 2}}
{"text": "Great price.", "labels": ["positive"], "meta": {"wikiPageID": 3}}

额外说明:如果待处理的数据量极大,这种逐行写入的方式无需将全量数据加载到内存做整体序列化,内存占用远低于传统JSON数组写入方式,也是当前NLP、大模型训练数据集的通用存储格式。

内容的提问来源于stack exchange,提问作者Akshay Ram

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 08:06:10