You need to enable JavaScript to run this app. Python读取含多个独立JSON对象的文件并转换为DataFrame的报错解决
优惠活动
大模型
产品
解决方案
定价
更多

Python读取含多个独立JSON对象的文件并转换为DataFrame的报错解决

逐行独立JSON对象转Pandas DataFrame实操方案

针对文件为逐行存放独立JSON对象(无外层JSON数组包裹)的场景,以下是经过实际验证、可直接跑通的处理方案,覆盖此前使用jsonlines、pandas.read_json报错的常见诱因:

方案1:原生逐行解析(零额外依赖,适配90%以上报错场景)

  • 实现逻辑:逐行读取文件内容,剔除首尾多余空格、跳过空行,逐行解析为字典后批量转成DataFrame
  • 完整可运行代码:
import json
import pandas as pd

# 存储所有解析成功的JSON记录
all_records = []

# 替换为你的实际JSON文件路径,指定utf-8编码避免中文解析报错
with open("test.json", "r", encoding="utf-8") as f:
    for current_line in f:
        # 去掉行首行尾的换行符、多余空格
        cleaned_line = current_line.strip()
        # 跳过处理后完全空的行(一般是文件末尾残留的空行)
        if not cleaned_line:
            continue
        # 逐行解析,捕获格式错误方便定位问题行
        try:
            parsed_record = json.loads(cleaned_line)
            all_records.append(parsed_record)
        except json.JSONDecodeError as err:
            print(f"第{all_records.__len__()+1}行解析失败,内容为:{cleaned_line},错误原因:{err}")

# 直接把所有记录转成DataFrame
df = pd.DataFrame(all_records)
  • 方案优势:不受pandas、第三方库版本兼容问题影响,解析失败时可以直接定位到格式不对的行,不会出现无厘头的解析报错;不管每行JSON包含Temp、OutsideTemp还是其他字段,都会自动把所有出现过的键识别为DataFrame列,缺对应字段的行自动填充为空值,不需要手动对齐列结构,非常适合Python开发经验较浅的场景快速排查问题。

方案2:用pandas内置接口实现(代码最简洁)

  • 此前使用pd.read_json报错的核心原因:未指定逐行解析参数,pandas默认会把整个文件当作标准JSON数组/单JSON对象解析,碰到逐行存储的结构就会触发格式校验错误
  • 正确写法代码:
import pandas as pd

# 核心:加lines=True参数,告知pandas按“逐行独立JSON”的规则解析
df = pd.read_json("test.json", lines=True, encoding="utf-8")
  • 常见问题避坑:
    • 必须加encoding="utf-8",避免系统默认编码和文件编码不匹配导致的解析失败、中文乱码
    • 如果文件体积较大、末尾残留多余空行导致报错,可以分批读取后合并:
      # 每1000行读一次,降低内存占用
      dfs = pd.read_json("test.json", lines=True, encoding="utf-8", chunksize=1000)
      df = pd.concat(dfs, ignore_index=True)
      

方案3:jsonlines库正确使用方式(适合超大型文件流式处理)

  • 此前用jsonlines报错的常见诱因:文件路径配置错误、文件末尾残留空行、某一行存在JSON格式错误
  • 正确写法代码:
import jsonlines
import pandas as pd

all_records = []
# 指定utf-8编码打开文件
with jsonlines.open("test.json", mode="r", encoding="utf-8") as reader:
    for record in reader:
        all_records.append(record)

df = pd.DataFrame(all_records)
  • 避坑提示:如果文件存在少量格式损坏的行,可以在循环里加try-except捕获解析错误,跳过坏行而不是直接中断整个程序。

内容的提问来源于stack exchange,提问作者heyou

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 21:54:06